Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

LLM Self-Hosting und Deployment

Seminar - PROKODA GmbH

LLM Self-Hosting und Deployment
Termin Ort Preis*
04.05.2026- 06.05.2026 online 1.416,10 €
04.05.2026- 06.05.2026 München 1.416,10 €
10.08.2026- 12.08.2026 München 1.416,10 €
10.08.2026- 12.08.2026 online 1.416,10 €

Alle Termine anzeigen

*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • Architektur & Entscheidungsgrundlagen
    • Use Cases, Datenklassen, Compliance-Treiber
    • Inferenz-Stack: Runtime, Model-Format, Serving
    • GPU vs. CPU, VRAM-Budget, Throughput-Latenz
    • Make-or-buy: Cloud, Hybrid, On-Prem
  • Hardware sizing ohne Rätselraten
    • VRAM-Kalkulation: Parameter, Quantisierung, KV-Cache
    • Batching, Kontextlänge, Parallelität
    • Storage, RAM, PCIe, Netzwerk, Kühlung
    • Messgrößen: Tokens/s, P95-Latenz, Auslastung
  • Modelle & Formate für Self-Hosting
    • GGUF, safetensors, Container-Images
    • Quantisierung (z.B. 4-bit/8-bit) und Qualitätschecks
    • Prompt-Templates, System Prompts, Tool-Use
    • Modellwahl nach Sprache, Kontext, Lizenz
  • Serving & Deployment
    • vLLM, llama.cpp, Text Generation Inference (TGI)
    • Docker/Compose und Kubernetes-Grundmuster
    • Rolling Updates, Canary, Versionierung
    • API-Design: OpenAI-kompatible Endpoints
  • Sicherheit, Zugriff & Datenkontrolle
    • Netzwerksegmentierung, Zero-Trust-Bausteine
    • AuthN/AuthZ, Secrets, TLS, Audit Logs
    • Prompt Injection: Risiken und Gegenmaßnahmen
    • Data Residency, Protokollierung, Aufbewahrung
  • Beobachtbarkeit & Betrieb
    • Monitoring: GPU/CPU, VRAM, Queue, Errors
    • Tracing für Latenz und Bottlenecks
    • Kapazitätsplanung und Kosten pro 1.000 Tokens
    • Runbooks: Incident, Rollback, Notfallplan
  • RAG als produktionsnahes Add-on
    • Chunking, Embeddings, Vektordatenbank-Optionen
    • Retrieval-Qualität messen (Recall, Faithfulness)
    • Guardrails: Quellenpflicht, Zitieren, Policies
    • Offline-Indexing und Update-Strategien
Teilnahmevoraussetzungen:
  • Grundkenntnisse in Linux und Container-Konzepten (Docker-Grundbegriffe)
  • Hilfreich: Basiswissen zu GPUs und Netzwerken, aber nicht zwingend
Zielgruppe:
  • IT-Administratoren und Platform Engineers, die On-Prem-Services betreiben
  • ML Engineers und MLOps Engineers mit Inferenz-Verantwortung
  • DevOps Engineers, die Container und Kubernetes betreuen
  • Security Engineers, die Datenabfluss und Zugriff absichern
  • Für alle, die LLMs ohne externe API-Abhängigkeit produktiv nutzen wollen
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha