AI Red Teaming und AI Risk Strategy: KI-Systeme professionell prüfen und absichern
Seminar - GFU Cyrus AG
Jede teilnehmende Person verlässt das Seminar mit einem belastbaren Verständnis der OWASP Top 10 für LLM-Anwendungen 2025 und der OWASP Top 10 für Agentic Applications 2026, ASI01 bis ASI10, einem einsatzfähigen AI-Red-Team-Playbook für die eigene Organisation, einem Scoping- und Vergabe-Raster zur Beauftragung und Bewertung interner wie externer Prüfungen sowie einer begründeten Toolchain-Entscheidung zu PyRIT, Garak, DeepTeam und Promptfoo samt deren Grenzen.
Tag 1 - Orientierung, Bedrohungsmodell und Auftragsvergabe
1. Warum KI-Systeme anders brechen
Probabilistisches Verhalten, fehlende Trennung von Instruktion und Daten, tägliche Modell- und Prompt-Änderungen - und warum Web- und Netzwerk-Pentests diese Angriffsfläche strukturell nicht erfassen.
2. Frameworks als gemeinsame Sprache
OWASP Top 10 für LLM-Anwendungen 2025, OWASP Top 10 für Agentic Applications 2026, MITRE ATLAS, NIST AI Risk Management Framework und das AI Vulnerability Scoring System AIVSS - wofür jedes steht und wann Sie welches heranziehen.
3. Angriffsklassen verständlich gemacht
Live-Demonstration
Direkte und indirekte Prompt Injection über Dokumente und E-Mails, Jailbreak-Ketten, RAG-Vergiftung, Sensitive Information Disclosure und Excessive Agency - am laufenden System gezeigt, nicht nur auf Folien.
4. Scoping und Vergabe als Führungsaufgabe
Was ein belastbares AI-Red-Team-Engagement ausmacht, interne versus externe Prüfung, und ein konkretes Bewertungsraster für Angebote externer Dienstleister.
Praxis-Übung, 45 Minuten
Prüfumfang für ein eigenes KI-System definieren - Angriffsflächen priorisieren, Erfolgskriterien festlegen, Freigaben klären.
Stresstest: „Ein Dienstleister bietet einen KI-Pentest für 3 Tagewerke an - welche fünf Fragen entlarven, ob er wirklich adversarial testet?“
Tag 2 - Methodik, Toolchain und Governance
5. Red-Team-Methodik und Toolchain
Aufbau, Stärken und Grenzen von PyRIT, Garak, DeepTeam und Promptfoo; wann automatisierte Prüfung ausreicht und wann sie in die Irre führt.
6. Kampagnen strukturiert fahren
Multi-Turn- und Crescendo-Angriffe, multimodale Injektion, System-Prompt- und Modell-Leakage, Membership Inference - als Prüfmethodik gegen eigene Systeme, mit klaren rechtlichen und organisatorischen Leitplanken.
7. Agenten prüfen
Tool-Poisoning, Goal-Hijack und Identity- und Privilege-Abuse ASI03 autonomer Agenten - die Brücke zu Agentic AI und Non-Human Identity.
8. Vom Befund zur Governance
Aufbau eines wiederverwendbaren Red-Team-Playbooks, Test-Cadence, Integration in CI/CD, Reporting an Vorstand und Aufsicht sowie das Mapping der Befunde auf KI-VO-Anforderungen an Robustheit und Cybersicherheit und auf das NIST AI RMF.
Praxis-Übung, 60 Minuten
Eigenes AI-Red-Team-Playbook und 90-Tage-Roadmap entwerfen.
Stresstest: „Der Vorstand fragt nach dem KI-Sicherheitsstand vor dem Go-Live eines neuen Agenten - in 10 Minuten belastbar beantwortbar?“
Dauer/zeitlicher Ablauf:
2 Tage
Zielgruppe:
Das Seminar richtet sich an CISO und Head of Security Testing, die AI-Prüfungen verantworten, beauftragen und gegenüber Aufsicht und Vorstand vertreten müssen.
Angesprochen sind Penetrationstester und Security Engineers, die ihr Prüfrepertoire von klassischen Systemen auf KI ausweiten.
Das Seminar eignet sich außerdem für AI/ML-Engineers und MLOps-Verantwortliche, die robuste, angriffsresistente KI-Systeme bauen und betreiben.
Ebenfalls angesprochen sind Risk-, Audit- und Compliance-Verantwortliche sowie AI Officer, die Prüfnachweise für KI-VO und NIS-2 benötigen.
Teilnahmevoraussetzungen
Sie benötigen ein Grundverständnis klassischer IT-Sicherheitsprüfungen wie Penetrationstest und Audit sowie von LLMs auf Anwenderebene.
Für die praktischen Teile an Tag 2 sind Python-Grundkenntnisse hilfreich, aber nicht zwingend.
Vorkenntnisse in KI-Sicherheit werden nicht vorausgesetzt.
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern.
Diese Cookies werden nicht automatisiert gesetzt.
Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren.
Weitere Informationen finden Sie hier.
