Seminare
Seminare

Sichere KI-Anwendungen bauen und betreiben

Seminar - GFU Cyrus AG

Jede teilnehmende Person verlässt das Seminar mit der Fähigkeit, eine KI-Anwendung über ihren gesamten Lebenszyklus sicher zu bauen und zu betreiben. Sie entwirft eine tragfähige Architektur für RAG- und Agenten-Anwendungen, sichert Identität, Geheimnisse und Rechte, evaluiert nicht-deterministisches Verhalten vor dem Ausrollen, rollt mit Versionierung und Rückfall aus, richtet Beobachtbarkeit und Tracing ein und steuert Qualität, Drift und Kosten im Betrieb nach LLMOps-Prinzipien. Als Ergebnis nimmt sie eine lauffähige, betriebsreife Beispielanwendung mit.
Termin Ort Preis*
firmenintern auf Anfrage auf Anfrage
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • Tag 1: 1. Der LLMOps-Lebenszyklus
    • Warum KI-Anwendungen einen eigenen Lebenszyklus brauchen
    • Die Phasen: konstruieren, bewerten, ausrollen, betreiben
    • Der Unterschied zu klassischem MLOps und zu reiner Softwareentwicklung
    • Sicherheit und Zuverlässigkeit als durchgehendes Prinzip

  • 2. Architektur von RAG- und Agenten-Anwendungen
    • Bausteine einer RAG-Anwendung sauber schneiden
    • Agenten mit Werkzeugen kontrolliert einsetzen
    • Zustand, Kontext und Gedächtnis bewusst gestalten
    • Fehlertoleranz und Rückfallpfade von Anfang an mitdenken

  • 3. Identität, Geheimnisse und geringste Rechte
    • Zugriff auf Modelle und Dienste über Rollen absichern
    • Geheimnisse verwalten statt Schlüssel in der Anwendung
    • Geringste Rechte für Werkzeuge und Datenquellen
    • Mandantentrennung und Datenzugriff im Nutzerkontext

  • 4. Sichere Prompt- und Datenpipeline
    • Prompt- und Kontextverwaltung versionierbar aufbauen
    • Die RAG-Pipeline von der Quelle bis zur Einbettung absichern
    • Herkunft und Aktualität der Wissensquellen sichern
    • Eingaben und Ausgaben kontrolliert behandeln

  • Praxis-Übung Tag 1: Für das Projektgerüst eine RAG- und Agenten-Anwendung so aufsetzen, dass der Modellzugriff über eine Rolle läuft, Geheimnisse ausgelagert sind, ein Werkzeug nur die nötigen Rechte hat und die Wissensquelle nachvollziehbar angebunden ist.
  • Tag 2: 5. Evaluierung nicht-deterministischen Verhaltens
    • Warum sich KI-Ausgaben nicht wie klassischer Code testen lassen
    • Testdatensätze und erwartete Eigenschaften definieren
    • Bewertungsmodelle und automatisierte Bewertung einsetzen
    • Reproduzierbarkeit trotz Nicht-Determinismus herstellen

  • 6. Regressionstests und Qualitätstore
    • Regressionen bei Prompt- oder Modelländerungen früh erkennen
    • Qualitätstore in die Auslieferung einbauen
    • Schwellenwerte für Qualität festlegen
    • Ergebnisse nachvollziehbar dokumentieren

  • 7. Guardrails und Ausgabekontrolle im Bau
    • Guardrails als eine Schicht der Absicherung einordnen
    • Ein- und Ausgaben zur Laufzeit filtern und erden
    • Strukturierte, validierbare Ausgaben nutzen
    • Grenzen von Guardrails ehrlich benennen

  • 8. Qualität, Latenz und Kosten abwägen
    • Modellwahl nach Aufgabe, Latenz und Kosten
    • Zwischenspeichern und Routing als Stellhebel
    • Ein Freigabekriterium für das Ausrollen definieren
    • Die Abwägung transparent festhalten

  • Praxis-Übung Tag 2: Für die Anwendung einen kleinen Evaluierungsdatensatz und automatisierte Bewertungen aufbauen, ein Qualitätstor mit Schwellenwert einrichten und daraus ein begründetes Freigabekriterium ableiten.
  • Tag 3: 9. Sicheres Ausrollen und Versionierung
    • Versionierung von Prompt, Modell und Anwendung
    • Bereitstellungsstrategien mit Rückfall
    • Umgebungen sauber trennen
    • Änderungen kontrolliert und nachvollziehbar ausrollen

  • 10. Beobachtbarkeit und Tracing
    • Anfragen, Antworten und Werkzeugaufrufe nachverfolgen
    • Kosten und Token-Verbrauch sichtbar machen
    • Aussagekräftige Protokolle ohne sensible Daten
    • Auffälligkeiten schnell auffinden

  • 11. Überwachung von Qualität, Drift und Kosten
    • Qualität im Betrieb messen statt nur beim Ausrollen
    • Drift bei Daten und Modellverhalten erkennen
    • Kostenausreißer früh bemerken
    • Rückkopplungsschleifen zur kontinuierlichen Verbesserung

  • 12. Zuverlässigkeit, Vorfallreaktion und Betriebsführung
    • Ratenbegrenzung, Zeitlimits und Fehlerbudget
    • Auf Vorfälle reagieren und lernen
    • Betriebsverantwortung und Bereitschaft klären
    • Die Anwendung als wiederholbaren Betrieb übergeben

  • Praxis-Übung Tag 3 (Peer-Review): Die Anwendung mit Versionierung und Rückfall ausrollen, Tracing sowie eine Überwachung von Qualität und Kosten einrichten und den gesamten Lebenszyklus einer anderen teilnehmenden Person gegen Architektur, Evaluierung und Betrieb prüfen lassen und die Rückmeldungen einarbeiten.



Zielgruppe:
  • Entwicklerinnen und Entwickler sowie KI-Engineers, die Anwendungen bauen und betreiben
  • LLMOps- und MLOps-Verantwortliche
  • Platform-Engineers mit KI-Bezug
  • Technische Teamleitungen, die KI-Anwendungen in den Betrieb bringen


Voraussetzungen: Die Teilnehmenden bringen solide Kenntnisse der Softwareentwicklung mit, idealerweise in Python, sowie ein Grundverständnis von großen Sprachmodellen und APIs. Grundlagen von Cloud und DevOps sind hilfreich, aber nicht zwingend.

Seminarkennung:
S7201
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha