Seminare
Seminare

LLM-Evaluation: Evaluation. Praxis. Sicherheit

Seminar - PROKODA GmbH

LLM-Evaluation: Evaluation. Praxis. Sicherheit
Termin Ort Preis*
18.02.2027- 19.02.2027 online 1.654,10 €
18.02.2027- 19.02.2027 München 1.654,10 €
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

Evaluations-Strategie für produktive LLM-Systeme

  • Rolle von LLM-Evaluation im Produkt-Lebenszyklus, in QA-Prozessen und bei Release-Entscheidungen
  • Abgrenzung von Benchmarks, Eval-Sets, Monitoring, Observability und produktivem Feedback
  • Qualitätsdimensionen wie Korrektheit, Nützlichkeit, Sicherheit, Konsistenz, Quellenbezug und Nutzerwert
  • Risiken durch Prompt-Änderungen, Modellwechsel, Tool-Anbindung und RAG-Anpassungen
  • Übersetzung fachlicher Anforderungen in messbare Bewertungskriterien
  • Priorisierung von Evaluationsaufwand nach Risiko, Nutzungshäufigkeit und Business-Relevanz

Eval-Sets entwerfen, strukturieren und pflegen

  • Aufbau repräsentativer Testfälle aus realistischen Nutzer-Szenarien und produktnahen Dialogen
  • Arbeit mit Golden-Datasets, Edge-Cases, Negativbeispielen und sicherheitskritischen Fällen
  • Kategorisierung nach Risiko, Fachdomäne, Nutzerintention, erwarteter Antwortform und Fehlertyp
  • Definition erwarteter Ergebnisse, akzeptabler Abweichungen und klarer Ausschlusskriterien
  • Versionierung von Testdaten, Referenzantworten, Prompts und Bewertungslogik
  • Pflege eines Evaluations-Backlogs für neue Features, Incidents und Produktänderungen

Automatisierte LLM-Bewertung und Metriken

  • Regelbasierte Checks für Struktur, Format, Faktenbezug, Policy-Vorgaben und Pflichtinformationen
  • LLM-as-a-Judge mit präzisen Rubrics, Bewertungs-Skalen und nachvollziehbaren Score-Definitionen
  • Messung von Retrieval-Qualität in RAG-Systemen inklusive Relevanz, Vollständigkeit und Quellenbezug
  • Bewertung von Antwortqualität, Halluzinationsrisiken, Tonalität und Konsistenz über wiederholte Testläufe
  • Umgang mit Nichtdeterminismus, Score-Schwankungen, Grenzfällen und uneindeutigen Ergebnissen
  • Einordnung von Kosten, Laufzeit und Aussagekraft automatisierter Evaluationsläufe

Human-Review sinnvoll einsetzen

  • Review-Guidelines für fachliche, sprachliche, sicherheitsrelevante und produktbezogene Bewertungen
  • Aufbau von Stichproben, Doppelbewertungen, Eskalationsregeln und Freigabeprozessen
  • Auswertung von Reviewer-Abweichungen und Kalibrierung gemeinsamer Bewertungskriterien
  • Kombination von automatischen Scores und menschlicher Beurteilung für belastbare Entscheidungen
  • Feedback-Schleifen für Produkt, Prompt, Datenbasis, RAG-Konfiguration und Modell-Auswahl
  • Dokumentation von Review-Ergebnissen für Audits, Stakeholder und kontinuierliche Verbesserung

Regressionstests und CI/CD-Integration

  • Test-Suites für Prompts, Systemnachrichten, Tools, RAG-Komponenten und Modell-Upgrades
  • Schwellwerte für Release-Entscheidungen, Rollbacks, manuelle Prüfungen und technische Eskalationen
  • Automatisierte Testläufe in Entwicklungs-Pipelines und wiederholbare Auswertung der Ergebnisse
  • Vergleich von Modellversionen, Prompt-Varianten und Datenständen anhand stabiler Evaluationskriterien
  • Dokumentation von Changes, Scores, Freigaben und offenen Risiken im Release-Prozess
  • Einbindung von LLM-Tests in bestehende QA-, DevOps- und Produktentwicklungsabläufe

Praxis-Setup für AI-Produkt-Teams

  • Evaluations-Backlog für AI-Produkt-Teams mit fachlichen, technischen und sicherheitsrelevanten Prüfpunkten
  • Reporting für Product Ownerinnen, Product Owner, AI Leads, QA-Verantwortliche und Stakeholder
  • Abwägung von Kosten-, Laufzeit- und Qualitäts-Trade-offs bei wiederholten Evaluationsläufen
  • Governance für nachvollziehbare LLM-Qualitätssicherung und dokumentierte Freigabeentscheidungen
  • Übertragung der Trainingsergebnisse auf eigene LLM-, RAG- und AI-Feature-Szenarien
Teilnahmevoraussetzungen:
  • Solide KI- und LLM-Grundlagen sowie Verständnis für Prompting, RAG oder ML-Workflows
  • Erfahrung mit Produktentwicklung, Software-Testing, QA-Prozessen oder AI-Projekten ist hilfreich
  • Grundverständnis für generative KI, etwa aus Generative KI für Anwender oder vergleichbarer Praxis
  • Für technische Teilnehmende sind Kenntnisse aus ChatGPT Training für Software-Entwicklung eine sinnvolle Ergänzung
Zielgruppe:
  • AI Leads, ML Engineers und Data Scientists mit Verantwortung für produktive LLM- oder RAG-Systeme
  • Product Ownerinnen, Product Owner und technische Projektleitungen für AI-Features, Chatbots und digitale Produkte
  • QA-Verantwortliche, Testmanagerinnen und Testmanager, die LLM-Qualität messbar prüfen und Releases absichern
  • Softwareentwicklerinnen, Softwareentwickler und Solution Architects, die Evaluationsprozesse in Entwicklungs- und CI/CD-Abläufe integrieren
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha