Seminare
Seminare

LiteLLM Schulung: AI-Gateway sicher betreiben

Webinar - PROKODA GmbH

LiteLLM Schulung: AI-Gateway sicher betreiben
Termin Ort Preis*
18.01.2027- 20.01.2027 online 2.249,10 €
18.01.2027- 20.01.2027 München 2.249,10 €
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

Gateway-Architektur und API

  • Komponenten des AI-Gateways mit LiteLLM
  • OpenAI-kompatible API des Proxys
  • Modell-Aliasse zwischen Anwendung und Provider

Container und Konfiguration

  • LiteLLM-Proxy im Docker-Container
  • Konfiguration über Umgebungsvariablen
  • PostgreSQL für persistente Verwaltungsdaten
  • Secret-Verwaltung außerhalb der Konfigurationsdatei

Cloud-Modelle und lokale Modelle

  • Provider-Endpunkte für Cloud-Modelle
  • OpenAI-kompatible APIs lokaler Modelle
  • Verbindungstests für jeden Modell-Alias

Zugriff über virtuelle API-Schlüssel

  • Virtuelle API-Schlüssel mit Ablaufdatum
  • Schlüsselzuordnung zu Teams und Benutzerkonten
  • Sperren kompromittierter API-Schlüssel

Budgets und Verbrauchsgrenzen

  • Budgets pro API-Schlüssel und Team
  • Anfrage- und Token-Limits pro Minute
  • Testaufrufe bei erreichten Verbrauchsgrenzen

Routing und Ausfallschutz

  • Fallbacks zwischen Modell-Deployments
  • Load-Balancing über mehrere Endpunkte
  • Timeouts für Provider-Aufrufe
  • Wiederholungen bei temporären Fehlern

Monitoring und Betriebstests

  • Kosten- und Token-Daten je Schlüssel
  • LiteLLM-Metriken für Prometheus
  • Protokolle ohne Prompts und Antworten
  • Betriebstests für Routing-Regeln
  • Betriebstests für Verbrauchsgrenzen
Teilnahmevoraussetzungen:
  • Grundkenntnisse in Docker, HTTP-APIs und der Kommandozeile; bei Bedarf vermittelt Docker Fundamentals die Containerbasis
  • Geräte, VMs und benötigte Software werden bereitgestellt; eigene Notebooks oder Lizenzen sind nicht nötig
Zielgruppe:
  • KI-Entwickler für produktive LLM-Anwendungen
  • Plattform-Teams mit Verantwortung für zentrale KI-Dienste
  • DevOps-Fachkräfte für containerisierte AI-Infrastruktur
  • MLOps-Teams mit Multi-Provider-Modellzugriff
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha