Detaillierte Informationen zum Seminar
Inhalte:
Grundlagen von Retrieval-Qualität
- Metriken: Recall, Precision, nDCG
- Warum klassisches IR- und LLM-Tuning zusammengehören
Tuning-Strategien
- Chunking-Varianten (Overlaps, Semantik-basiert)
- Embedding-Modelle vergleichen
- Index-Parameter optimieren (z. B. k, Abstandsmessung)
Re-Ranking & Hybrid Search
- Lexikalische + semantische Suche kombinieren
- Einsatz von Cross-Encodern
- Trade-offs zwischen Qualität und Kosten
Evaluationstechniken
- Human-in-the-loop Verfahren
- Automatisierte Evals: BLEU, ROUGE, BERTScore, G-Eval
- Benchmark-Sets aufbauen
Qualitätssicherung im Betrieb
- Bias-Checks, Halluzinationsanalyse
- Drift Detection bei Embeddings
- Canary-Tests für neue Pipelines
Monitoring & Reporting
- KPI-Tracking: Retrieval-Präzision, Factuality
- Dashboards für Stakeholder
- Feedback Loops und kontinuierliche Verbesserung
Dauer/zeitlicher Ablauf:
2 Tage
Ziele/Bildungsabschluss:
Siehe Beschreibung und Inhalt.
Teilnahmevoraussetzungen:
Grundkenntnisse in NLP oder Vektorsuche sowie erste Erfahrungen mit RAG, LangChain oder LLM-Entwicklung sind von Vorteil. Basiswissen in Python wird empfohlen.
Material:
Im Preis enthalten sind PC-COLLEGE - Zertifikat, technische Beratung und Kursmaterial.
Förderung:
Bildungsscheck, andere auf Anfrage
Zielgruppe:
Teilnehmende können RAG-Systeme gezielt evaluieren, Retrieval- und Embedding-Komponenten optimieren und Qualitätskennzahlen in Entwicklung und Betrieb überwachen und kommunizieren.
Seminarkennung:
LME260309-ONL
