Detaillierte Informationen zum Seminar
Inhalte:
- Grundlagen und Architektur von Apache Airflow
- DAG-Entwicklung in Python
- Operators und Sensoren (PythonOperator, BashOperator)
- Scheduling (Cron, Presets, Catchup, Backfill)
- Abhängigkeiten und Task Flow
- XCom und Datenaustausch
- Jinja Templates und Macros
- Fehlerstrategien (Retries, SLAs)
- Monitoring und Logging in der Airflow UI
- Linting und Qualitätsprüfung von DAGs
- Testing von Airflow Workflows
- Deployment und CI/CD für DAGs
- Versionsverwaltung und Best Practices
- Umgang mit Secrets und Konfiguration
- Anti-Patterns und typische Fehlerquellen
- Ressourcenmanagement und Parallelism
Ziele/Bildungsabschluss:
- die Architektur von Apache Airflow verstehen
- eigene DAGs sicher entwickeln, testen und deployen
- Scheduling, Dependencies und XComs korrekt einsetzen
- Verschiedene Operators für Workloads nutzen
- Logging, Monitoring und Fehlerstrategien sicher anwenden
- DevOps-Best-Practices für Airflow anwenden (Linting, Testing, GitOps)
- typische Fehler (Don'ts) erkennen und vermeiden
- Deployment von Airflow-DAGs sicher automatisieren
- Hands-on an eigenen Kunden-Use-Cases arbeiten
Teilnahmevoraussetzungen:
Grundlegende IT-Kenntnisse, Basiswissen in Python empfehlenswert, Kubernetes-Grundlagen hilfreich, aber nicht zwingend notwendig
Zielgruppe:
Das Seminar richtet sich an Data Engineers, Data Scientists, Cloud- und DevOps-Engineers, ETL-/DWH-Spezialisten, IT-Architekten und Entwickler mit Daten- oder Integrationsfokus.
Seminarkennung:
AIR-01
