MLflow 3 Schulung: GenAI Observability für LLMs

Plattform-Setup für MLflow 3

• MLflow Tracking-Server und Repository-Struktur
• Backend-Store und Artefaktablage
• Experimentstruktur für Teamarbeit
• Autologging und manuelles Logging
• Run-Konventionen für Reviews

Experiment-Tracking und Reproduzierbarkeit

• Run-Metadaten und Metriken
• Dataset-Logging für Reproduzierbarkeit
• Model Signatures und Input Examples
• Artefakte für Audit und Vergleich
• Vergleich von Experimentläufen

Model Registry und Release-Übergabe

• Modellversionen mit Aliassen
• Freigaben über Tags und Aliasse
• Registry-Struktur für Teamprozesse
• MLflow Models für Serving
• Containerisierte Deployment-Pipelines

GenAI Observability mit Tracing

• Trace-Spans für LLM-Aufrufe
• RAG-Abläufe in Trace-Ansichten
• Tool-Aufrufe und Fehleranalyse
• Kosten- und Latenzmetriken
• Trace-Daten für Betriebsreviews

Prompt Management mit MLflow

• Prompt-Versionen in der Prompt Registry
• Prompt-Vergleich über Experimente
• Variantenfreigabe für Testumgebungen
• Artefaktablage für Prompt-Sets
• Review-Prozess für Prompt-Änderungen

Evaluation und Betriebssignale

• mlflow.evaluate für klassische Modelle
• GenAI-Scorer für Antwortqualität
• Baseline-Vergleich mit Referenzdaten
• Metriken für Release-Entscheidungen
• Betriebssignale aus Traces und Runs

• Sichere Python-Grundlagen, etwa auf Niveau des Python 3 Grundkurs intensiv
• Erfahrung mit ML- oder LLM-Projekten
• Grundverständnis von Git-Workflows und APIs
• Basiswissen zu containerisierten Anwendungen hilfreich

• Data-Scientistinnen und Data-Scientists mit Python-Erfahrung
• ML-Engineers mit Verantwortung für reproduzierbare Experimente
• MLOps-Engineers und Plattform-Teams im KI-Betrieb
• LLM-Entwicklerinnen und LLM-Entwickler mit Trace-Bedarf