Seminare
Seminare

LLM Self-Hosting und Deployment

Webinar - PROKODA GmbH

LLM Self-Hosting und Deployment
Termin Ort Preis*
11.01.2027- 13.01.2027 München 1.416,10 €
11.01.2027- 13.01.2027 online 1.416,10 €
25.01.2027- 27.01.2027 München 1.416,10 €
25.01.2027- 27.01.2027 online 1.416,10 €
22.02.2027- 24.02.2027 online 1.416,10 €
22.02.2027- 24.02.2027 München 1.416,10 €

Alle Termine anzeigen

*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

Architektur und Entscheidungsgrundlagen

  • Use Cases und Datenklassen
  • Compliance-Treiber und Datenresidenz
  • Runtime, Modellformat und Serving
  • Cloud, Hybrid und On-Prem

Hardware-Sizing und Performance-Mechanik

  • VRAM-Budget und Modellparameter
  • Quantisierung und KV-Cache
  • Kontextlänge, Batching und Parallelität
  • Tokens/s, TTFT und P95-Latenz
  • Storage, RAM und Netzwerk

Modelle, Formate und Qualitätsbewertung

  • GGUF, safetensors und Container-Images
  • 4-bit- und 8-bit-Quantisierung
  • Prompt-Templates und System Prompts
  • Tool-Use und Funktionsaufrufe
  • Sprache, Kontext und Lizenz

Serving und Deployment

  • vLLM, llama.cpp und TGI
  • SGLang und TensorRT-LLM einordnen
  • Docker Compose und Kubernetes-Grundmuster
  • Rolling Updates und Canary-Releases
  • OpenAI-kompatible API-Endpunkte

Sicherheit, Zugriff und Governance

  • Netzwerksegmentierung und Zero Trust
  • AuthN, AuthZ und Secrets
  • TLS, Audit Logs und Policies
  • Prompt-Injection-Risiken und Gegenmaßnahmen
  • Protokollierung und Aufbewahrung

Beobachtbarkeit und stabiler Betrieb

  • GPU-, CPU- und VRAM-Monitoring
  • Queue-Metriken und Fehlerraten
  • Tracing für Latenz-Bottlenecks
  • Kosten pro 1.000 Tokens
  • Incident-, Rollback- und Notfall-Runbooks

RAG als produktionsnahes Add-on

  • Chunking und Embeddings
  • Vektordatenbank-Optionen
  • Recall und Faithfulness messen
  • Quellenpflicht und Guardrails
  • Offline-Indexing und Updates
Teilnahmevoraussetzungen:
  • Grundkenntnisse in Linux und Container-Konzepten
  • Verständnis zentraler Docker-Begriffe wie Image, Container, Volume und Netzwerk
  • Hilfreich: Basiswissen zu GPUs, Netzwerken und API-Betrieb
  • Für fehlende Container-Grundlagen empfiehlt sich vorab KI-Apps containerisieren mit Podman, Docker & Kubernetes
Zielgruppe:
  • IT-Administratoren und Platform Engineers mit Verantwortung für On-Prem-Services
  • ML Engineers und MLOps Engineers, die LLM-Inferenz produktiv betreiben
  • DevOps Engineers mit Aufgaben in Containerisierung, Kubernetes und Rollouts
  • Security Engineers und IT-Architektinnen, die Datenabfluss, Zugriff und Governance absichern
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha