Seminare
Seminare

Open-Source-LLMs lokal betreiben: Grundkurs

Seminar - PROKODA GmbH

Open-Source-LLMs lokal betreiben: Grundkurs
Termin Ort Preis*
18.01.2027- 19.01.2027 online 1.297,10 €
18.01.2027- 19.01.2027 München 1.297,10 €
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

LLM-Grundlagen für Open-Source-Stacks

  • Transformer, Token, Kontextfenster und Sampling verständlich einordnen
  • Inferenz, Training und Fine-Tuning sauber voneinander abgrenzen
  • Quantisierung, Modellgröße und Qualitätsverluste realistisch bewerten
  • Modellformate und Laufzeit-Ökosysteme wie GGUF und safetensors einordnen

Lokale Inferenz einrichten und vergleichen

  • llama.cpp und Ollama installieren, Modelle verwalten und Updates nachvollziehen
  • CPU, GPU, VRAM, RAM, Durchsatz und Latenz für lokale LLMs bewerten
  • Passende Modelle nach Hardware, Antwortqualität und Anwendungsfall auswählen
  • Basis-Tuning mit Kontextgröße, Temperatur, Top-p und Wiederholungsstrafen durchführen

Prompting für reproduzierbare Ergebnisse

  • System-, Entwickler- und Nutzer-Prompts sauber trennen
  • Prompts für stabile, überprüfbare und wiederholbare Antworten strukturieren
  • JSON, Tabellen und feste Schemas als strukturierte Ausgaben erzeugen
  • Halluzinationen, Overconfidence und Prompt Injection als typische Fehlerbilder erkennen

Lokale RAG-Pipeline mit eigenen Dokumenten

  • Chunking, Embeddings, Retrieval und Re-Ranking als Pipeline aufbauen
  • PDF-, Markdown- und Dateiquellen für lokale Wissensbestände anbinden
  • Lokale Vektordatenbanken für dokumentenbasierte Antworten einsetzen
  • Trefferquote, Zitierbarkeit und Kontextbudget zur Qualitätsbewertung nutzen

Evaluation, Datenschutz und Betrieb

  • Faktentreue, Konsistenz, Stiltreue und Sicherheit als Qualitätskriterien definieren
  • Testsets, Prompt-Regression und einfache Benchmarks für Modellvergleiche nutzen
  • Logging, Datenschutz und Versionierung für Modelle und Prompts einführen
  • Grenzen lokaler Setups gegenüber Cloud-Modellen fachlich begründet abwägen
Teilnahmevoraussetzungen:
  • Grundverständnis von IT-Systemen, Dateisystemen, Prozessen und Netzwerken
  • Sicherer Umgang mit der Kommandozeile unter Windows, Linux oder macOS
  • Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache
  • Keine Vorkenntnisse im Training eigener Modelle erforderlich
Zielgruppe:
  • IT-Administratoren und DevOps-Verantwortliche, die lokale KI-Services, Workstations oder interne LLM-Umgebungen bereitstellen
  • Softwareentwicklerinnen und Softwareentwickler, die Open-Source-LLMs in Tools, Skripte oder Fachanwendungen integrieren
  • Data- und AI-Engineers, die RAG-Pipelines, Embeddings und Evaluation für eigene Dokumentbestände aufsetzen
  • IT-Sicherheitsverantwortliche und technische Projektverantwortliche, die Datenschutz, Risiken und Betriebsgrenzen lokaler LLMs bewerten
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha