Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

Open-Source-LLMs lokal betreiben: Grundkurs

Seminar - PROKODA GmbH

Open-Source-LLMs lokal betreiben: Grundkurs
Termin Ort Preis*
08.06.2026- 09.06.2026 online 1.011,50 €
08.06.2026- 09.06.2026 München 1.011,50 €
07.09.2026- 08.09.2026 online 1.011,50 €
07.09.2026- 08.09.2026 München 1.011,50 €

Alle Termine anzeigen

*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • LLM-Grundlagen für Open-Source-Stacks
    • Transformer, Token, Kontextfenster, Sampling verständlich einordnen
    • Inferenz vs. Training, Quantisierung und ihre Grenzen
    • Modellformate und Laufzeit-Ökosystem: GGUF, safetensors
  • Lokale Laufzeit einrichten und vergleichen
    • llama.cpp und Ollama: Installation, Modelle, Updates
    • CPU vs. GPU: VRAM, RAM, Durchsatz, Latenz
    • Basis-Tuning: Kontext, Temperatur, Top-p, Wiederholungsstrafen
  • Prompting, das reproduzierbar funktioniert
    • System-, Entwickler- und Nutzer-Prompts sauber trennen
    • Strukturierte Ausgaben: JSON, Tabellen, feste Schemas
    • Fehlerbilder: Halluzinationen, Prompt Injection, Overconfidence
  • RAG lokal: Wissen anbinden statt raten
    • Chunking, Embeddings, Retrieval, Re-Ranking als Pipeline
    • Lokale Vektordatenbanken und Dateiquellen (PDF, Markdown)
    • Qualität messen: Trefferquote, Zitierbarkeit, Kontextbudget
  • Evaluation und Betrieb
    • Qualitätskriterien: Faktentreue, Konsistenz, Stil, Sicherheit
    • Testsets, Prompt-Regression, einfache Benchmarks
    • Logging, Datenschutz, Modell- und Prompt-Versionierung
  • Use-Cases, Grenzen, nächste Schritte
    • Assistenz für Schreiben, Analyse, Code-Reviews, Support-Entwürfe
    • Wann Cloud-Modelle sinnvoller sind, wann lokal gewinnt
    • Roadmap: Tools, Fine-Tuning-Optionen, Governance
Teilnahmevoraussetzungen:
  • Grundverständnis von IT-Systemen (Dateisystem, Prozesse, Netzwerk) und sicherer Umgang mit der Kommandozeile.
  • Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache, aber nicht zwingend.
Zielgruppe:
  • IT-Administratoren und DevOps-Verantwortliche, die lokale KI-Services bereitstellen
  • Softwareentwicklerinnen und Softwareentwickler, die LLMs in Tools integrieren
  • Data- und AI-Engineers, die RAG und Evaluation aufsetzen
  • IT-Sicherheitsverantwortliche, die Datenschutz und Risiken bewerten
  • Für alle, die Open-Source-LLMs lokal betreiben und produktiv nutzen wollen
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha