Cloud-Datenmanagement für KI: Lakes und Warehouses

Architektur für KI- und Analytics-Datenplattformen

• Data Lake, Warehouse und Lakehouse
• Batch- und Streaming-Pipelines
• Compute- und Storage-Entkopplung
• Architektur-Patterns und Anti-Patterns

Datenaufnahme und Integration

• Landing Zone, Raw und Curated
• ELT, ETL und Kostenwirkungen
• CDC und inkrementelle Loads
• Semi-strukturierte Daten wie JSON

Modellierung für Analytics und KI

• Star Schema und Data Vault
• Feature-taugliche Aggregationen
• Zeitbezug und Leakage-Vermeidung
• Dimensionen und SCD-Konzepte
• Semantische Schicht für Kennzahlen

Datenqualität, Governance und Sicherheit

• Vollständigkeit, Plausibilität und Drift
• Data Catalog und Lineage
• Ownership und Verantwortungsmodelle
• IAM und Rollenmodelle
• Row- und Column-Level Security
• Pseudonymisierung und Löschkonzepte

Formate, Tabellen und Performance

• Parquet, ORC und JSON
• Partitionierung und Clustering
• Dateigrößen und Abfrageverhalten
• Delta, Apache Iceberg und Hudi
• ACID-Tabellen im Data Lake
• Kostenkontrolle bei Cloud-Abfragen

Bereitstellung für KI-Workloads

• Reproduzierbare Trainingsdaten-Sets
• Feature-Store-Grundlagen
• Offline- und Online-Serving
• Schema-Änderungen und SLAs
• Monitoring von Datendrift

• Grundverständnis von Datenbanken und SQL
• Erste Erfahrung mit Cloud-Services oder Analytics-Projekten
• Hilfreiche Grundlage: Data Mining Einführungskurs

• Data Engineers und Analytics Engineers
• Data Architects und Cloud Architects
• BI-Verantwortliche und Data Product Owner
• ML Engineers und AI Engineers mit Datenverantwortung