Seminare
Seminare

Monitoring von KI-Agenten: Kontrolle & Sicherheit

Webinar - PROKODA GmbH

Monitoring von KI-Agenten: Kontrolle & Sicherheit
Termin Ort Preis*
11.01.2027- 12.01.2027 München 1.297,10 €
11.01.2027- 12.01.2027 online 1.297,10 €
08.03.2027- 09.03.2027 München 1.297,10 €
08.03.2027- 09.03.2027 online 1.297,10 €

Alle Termine anzeigen

*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

Agenten-Architekturen und Risikobild

  • Grundlagen agentischer Systeme mit Planner, Executor, Memory, Tool-Use und externen Schnittstellen
  • Abgrenzung zwischen Chatbot, Workflow-Automatisierung und autonom handelndem KI-Agenten
  • Typische Failure Modes: Halluzinationen, falsche Tool-Auswahl, fehlerhafte Zwischenschritte und unvollständige Zielerreichung
  • Prompt-Injection, Tool-Missbrauch, indirekte Anweisungen und Manipulation über externe Datenquellen
  • Bedrohungsmodell für Agenten-Workflows mit Daten, Identitäten, Tools, Aktionen und Berechtigungen

Observability für KI-Agenten

  • Tracing von Runs, Steps, Tool-Calls, Entscheidungen, Retries und Abbrüchen
  • Strukturierte Events statt unübersichtlicher Chat-Logs
  • Correlation IDs, Session-Kontext und Nachvollziehbarkeit über mehrere Systeme hinweg
  • KPIs für Agentenbetrieb: Erfolgsquote, Fehlerklassen, Abbruchraten, Wiederholungen, Latenzen und Kosten
  • Dashboards und Alarmregeln für technische Fehler, Qualitätsprobleme und Policy-Verstöße

Guardrails und Policy Enforcement

  • Allow- und Deny-Listen für Tools, Datenquellen, Aktionen und Zielsysteme
  • Policy-Design für kritische Aktionen, Freigabeprozesse und risikobasierte Eskalation
  • Output-Validierung mit Schemas, Constraints, Redaction und fachlichen Prüfregeln
  • Human-in-the-Loop für Zahlungen, Datenänderungen, Kundenkommunikation und administrative Eingriffe
  • Kontrollpunkte vor, während und nach Tool-Calls

Security, Datenschutz und Identitäten

  • Least Privilege für Agenten, Tool-Accounts, Service-Accounts und API-Zugriffe
  • Secrets Handling, Token-Lebenszyklen, Rotation und sichere Übergabe an Tools
  • PII-Schutz, Data Loss Prevention und Redaction sensibler Daten
  • Logging-Hygiene: welche Daten in Logs gehören und welche konsequent vermieden werden
  • Audit-Trails für Compliance, Nachvollziehbarkeit und Incident-Aufarbeitung

Qualitätssicherung mit Evals und Regression Monitoring

  • Offline-Evals für Agentenaufgaben, Tool-Calls, Zwischenschritte und Endergebnisse
  • Golden Tasks, Rubrics, automatische Checks und manuelle Review-Punkte
  • Regression Monitoring nach Änderungen an Prompt, Modell, Tool, Policy oder Datenquelle
  • Vergleich von Agentenläufen über Versionen hinweg
  • Messbare Kriterien für Zuverlässigkeit, Sicherheit und fachliche Ergebnisqualität

Kosten, Rate Limits und Stabilität

  • Budgeting pro Run, Team, Use Case, Umgebung und Agentenfunktion
  • Transparenz über Token-Kosten, Tool-Kosten, Wiederholungen und Fehlversuche
  • Rate Limits, Timeouts, Backoff-Strategien und kontrollierte Wiederanläufe
  • Circuit Breaker für Endlosschleifen, übermäßige Tool-Nutzung und kritische Fehlerzustände
  • Sichere Degradationspfade bei Ausfällen, Grenzwertverletzungen oder Policy-Blockaden

Incident Response für Agenten

  • Run-Replay zur Rekonstruktion von Entscheidungen, Tool-Calls und Zwischenergebnissen
  • Root-Cause-Analyse für Prompt-Injection, Datenabfluss, Policy-Verstoß und Kostenanomalie
  • Alarmierung bei Anomalien, Sicherheitsereignissen, Qualitätsabfällen und ungewöhnlichen Aktionsmustern
  • Rollbacks, Kill-Switch, Sperrlisten und kontrolliertes Wiederanfahren
  • Incident-Runbooks für Betrieb, Security, Fachbereich und Management-Kommunikation
Teilnahmevoraussetzungen:
  • Grundverständnis von APIs, Logs, Web-Services und technischen Betriebsprozessen
  • Erste Erfahrung mit LLMs, KI-Agenten oder automatisierten Workflows ist hilfreich
  • Basiswissen zu IT-Sicherheit, Berechtigungen oder Monitoring erleichtert den Einstieg
  • Für fachliche Grundlagen zur KI eignet sich vorab die Schulung Einführung in die Künstliche Intelligenz
Zielgruppe:
  • AI Engineers, ML Engineers und Entwicklerinnen und Entwickler mit Agenten-Projekten, Tool-Integration oder LLM-Anwendungen im Betrieb
  • DevOps-, SRE- und Plattform-Teams, die KI-Agenten observierbar, stabil und kostenkontrolliert betreiben
  • IT-Security-, Datenschutz- und Compliance-Verantwortliche, die Risiken, Policies und Audit-Trails für Agentic AI bewerten
  • Tech Leads, Lösungsarchitektinnen und Lösungsarchitekten, die sichere Betriebsmodelle für Agenten-Workflows entwerfen
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha