Seminare
Seminare

vLLM-Schulung: Open-Source-LLMs bereitstellen

Webinar - PROKODA GmbH

vLLM-Schulung: Open-Source-LLMs bereitstellen
Termin Ort Preis*
11.01.2027- 13.01.2027 München 2.130,10 €
11.01.2027- 13.01.2027 online 2.130,10 €
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

vLLM-Server und Architektur

  • Installation und Laufzeitvoraussetzungen für vLLM
  • Modellstart mit vllm serve
  • PagedAttention und blockbasierter KV-Cache
  • Parameter der OpenAI-kompatiblen Serverkonfiguration
  • Unterstützte Modellarchitekturen und Modellformate

GPU-Speicher und Batching

  • Speicherbedarf von Modell und KV-Cache
  • Continuous Batching für parallele Anfragen
  • GPU-Speichergrenze mit --gpu-memory-utilization
  • Kontextlänge und maximale Sequenzanzahl
  • Quantisierung nach Modell und GPU

APIs und Modellfunktionen

  • OpenAI-kompatible Chat-Completions-Endpunkte
  • Streaming-Antworten und Abbruchverhalten
  • Tool-Calling mit Modell und Parser
  • Embeddings mit unterstützten Pooling-Modellen

Parallelisierung über mehrere GPUs

  • Tensor Parallelism über mehrere GPUs
  • Pipeline Parallelism für große Modelle
  • Kommunikationskosten zwischen GPU-Prozessen
  • Strategiewahl nach Modell und Hardware

Hosting mit Containern

  • Container-Image für den vLLM-Server
  • Modell-Cache auf persistenten Volumes
  • GPU-Zugriff aus der Container-Laufzeit

vLLM auf Kubernetes

  • GPU-Ressourcen für Kubernetes-Pods
  • Readiness- und Liveness-Probes
  • Horizontale Skalierung über Replikate
  • Rollouts mit großen Modellgewichten

Benchmarks und Betriebsbeobachtung

  • Lastprofile für parallele API-Anfragen
  • Durchsatz in Tokens pro Sekunde
  • Zeit bis zum ersten Token
  • Zeit zwischen ausgegebenen Tokens
  • Prometheus-Metriken und Server-Logs
Teilnahmevoraussetzungen:
  • Linux-, Shell- und Container-Praxis
  • Grundkenntnisse in Kubernetes und im LLM-Self-Hosting
Zielgruppe:
  • MLOps-Fachkräfte für produktive LLM-Inferenz
  • KI-Plattformteams mit eigener GPU-Infrastruktur
  • GPU-Administratoren für containerisierte KI-Dienste
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha