Fernlehrgang - Adinger IT Trainings GmbH
Der AI Agent Quality Professional (aixqs) vermittelt, wie Qualität bei LLM-, RAG- und Agentensystemen systematisch aufgebaut und über Entwicklungszyklen hinweg abgesichert wird.
Die Teilnehmenden übersetzen fachliche Erwartungen und Domänenwissen in überprüfbare Qualitätskriterien. Sie entwickeln Testsets und Bewertungsmetriken, führen Evaluationen mit Rhesis durch und vergleichen Veränderungen an Prompt, Modell, Kontext oder Konfiguration. Dabei werden auch Regressionen, Robustheit, Conversation Flows und Risiken wie Prompt Injection betrachtet.
Ein durchgängiges Praxisprojekt verbindet die Inhalte über alle vier Trainingstage und führt fachliche Anforderungen, Evaluation und Weiterentwicklung eines KI-Agenten zusammen.
| Termin | Ort | Preis* |
|---|---|---|
| 28.09.2026- 01.10.2026 | online | 3.448,62 € |
| 14.12.2026- 17.12.2026 | online | 3.448,62 € |
Tag 1 – Agenten und Qualität verstehen
LLMs, RAG und KI-Agenten
konversationsbasierte Systeme
Nichtdeterminismus, Kontext und Domänenwissen
fachliche Anforderungen an Agenten
Qualitätsmerkmale von Agentensystemen
Tool Calling und MCP
Einführung in Rhesis
Tag 2 – Qualität prüfbar machen
erwartetes Agentenverhalten konkretisieren
Testbedingungen ableiten
Positiv-, Negativ- und Grenzfälle
Testsets und Annotationen
Bewertungsmetriken und Referenzergebnisse
Evaluationen mit Rhesis
Co-Development zwischen Fachbereich, Produkt und Entwicklung
Tag 3 – Qualität weiterentwickeln
Feedback- und Entwicklungszyklen
Systemprompt, Modell und Kontext verändern
Hypothesen zum Agentenverhalten
Wirkung von Änderungen messen
Regressionen erkennen
Conversation Testing
Prompt Injection und Robustheit
Tag 4 – Qualität absichern und übertragen
Praxisprojekt abschließen
Ergebnisse bewerten und Verbesserungen ableiten
Projektergebnisse präsentieren und begründen
Lösungsansätze vergleichen
Gruppenfeedback und Peer Review
Transfer in das eigene Team
Automatisierung und Integration mit SDK, MCP und CI/CD
Fachliche Erwartungen präzisieren: konkrete und beobachtbare Verhaltensweisen eines KI-Agenten aus fachlichen Anforderungen ableiten
Domänenwissen in Qualitätskriterien überführen: Fachwissen in nachvollziehbare Maßstäbe für richtige, vollständige und angemessene Ergebnisse übersetzen
Testsets und Bewertungsmetriken entwickeln: Prüffälle, Referenzergebnisse und Messgrößen für Agenten systematisch zusammenstellen
Agenten mit Rhesis evaluieren: Testläufe durchführen und Auswirkungen von Änderungen an Prompt, Modell, Kontext oder Konfiguration vergleichen
Regressionen erkennen und Entscheidungen begründen: Verschlechterungen identifizieren und Entscheidungen über Freigabe, Anpassung oder weitere Iterationen treffen
Abschluss:
Zertifikat AI Agent Quality Professional (aixqs) nach bestandener Zertifizierungsprüfung.
Basisverständnis von LLM-Anwendungen und KI-Agenten empfohlen
Erfahrungen aus Produkt-, Fach- oder Softwareprojekten empfohlen
Interesse an Entwicklung und Qualität KI-basierter Systeme
keine Programmierkenntnisse erforderlich
Der Online-Kurs verbindet fachliche Impulse mit einem hohen Praxisanteil. Die Teilnehmenden arbeiten mit einem bereitgestellten KI-Agenten, beispielsweise aus Support, Travel oder Healthcare.
Zum Einsatz kommen angeleitete Übungen, Einzel- und Gruppenarbeit, gemeinsame Reflexionen und fachlicher Austausch. Miro unterstützt Analyse und Zusammenarbeit. Testsets, Evaluationen und die Bewertung des Agenten werden mit Rhesis durchgeführt.
Die Zertifizierungsprüfung ist in das Praxisprojekt integriert. Dazu gehören:
Bewertung des KI-Agenten anhand fachlicher Anforderungen
Entwicklung eines Testsets und geeigneter Bewertungsmetriken
mindestens zwei Evaluationen
Veränderung ausgewählter Parameter und Nachweis ihrer Wirkung
Projektpräsentation und Diskussion
Bewertung anhand definierter Kriterien durch Prüfer und Teilnehmende
Ein Multiple-Choice-Test ist nicht Bestandteil der Prüfung.
Kursunterlagen und Arbeitsmaterialien
Übungen, Testsets und Evaluationen mit Rhesis
Teilnahmebescheinigung der Adinger IT Trainings GmbH
Praxisnachweis zur Arbeit mit Rhesis
Zertifikat AI Agent Quality Professional (aixqs) nach bestandener Prüfung
Rhesis-Zugang für einen weiteren Monat nach Kursabschluss
AI Entwickler
QA- und Testverantwortliche
Product Owner und Product Manager mit Verantwortung für Produktqualität
Fachexpert, die Domänenwissen in Qualitätskriterien überführen
