Data Engineering: Aufbau von Datenpipelines und ETL-Prozessen

• Grundlagen
  
  • Was ist Data Engineering?
  • Unterschied zwischen Datenintegration, Datenpipelines und ETL-Prozessen
  • Wichtige Begriffe und Konzepte
  
  
• Überblick über ETL-Prozesse
  
  • Was bedeutet ETL (Extraktion, Transformation, Laden)?
  • Wann und warum werden ETL-Prozesse benötigt?
  
  
• Datenmodelle und Datenbanken
  
  • Einführung in relationationale Datenbanken
  • NoSQL Datenbanken und deren Relevanz im Data Engineering
  • Datenmodellierung: Star-Schema, Snowflake-Schema, Denormalisierung
  
  
• Praktische Übung
  : Erste Schritte mit einer relationalen Datenbank (z.B. PostgreSQL)
• Extraktion von Daten
  
  • Datenquellen und ihre Typen
  • Tools und Techniken für die Datenextraktion
  
  
• Transformation von Daten
  
  • Bedeutung und Notwendigkeit der Datentransformation
  • Typen von Transformationen
  • Best Practices
  
  
• ETL-Tools im Überblick
  
  • Traditionelle ETL-Tools (z.B. Talend, Informatica)
  • Open-Source-ETL-Tools (z.B. Apache NiFi, Apache Airflow)
  
  
•  Datenpipeline-Architektur
  
  • Design-Prinzipien für skalierbare Pipelines
  • Batch- vs. Echtzeitverarbeitung
  • Best Practices für Fehlerbehandlung
  • Leistungsoptimierungstechniken
  
  
•  Cloud-basierte Datenpipelines
  
  • Vor- und Nachteile des Cloud-Computings
  • Übersicht über Cloud-Anbieter: AWS, Google Cloud, Azure
  • Migrationsstrategien: On-Premise zu Cloud
  • Sicherheitsaspekte in der Cloud
  
  
•  Automatisierung und Orchestrierung
  
  • Bedeutung der Automatisierung im Daten-Engineering
  • Einführung in Orchestrierungstools: Apache Airflow, Prefect
  • Automatisierungs-Workflow-Design
  • Best Practices und Fallstricke
  
  
•  Datenpipelines für Advanced Analytics und ML
  
  • Unterschied zwischen traditionellen Pipelines und ML-Pipelines
  • Einführung in Feature Engineering
  • ML-Model-Deployment und Inferenz-Pipelines
  • Monitoring und Versionierung von ML-Modellen
  
  
•  Datenqualität und -bereinigung
  
  • Wichtigkeit der Datenqualität
  • Tools und Techniken zur Datenbereinigung
  • Datenvalidierung und -überprüfung
  • Fallstudien: Datenqualitätsprobleme und ihre Lösungen
  
  
•  Sicherheit in Datenpipelines
  
  • Grundlagen der Datensicherheit
  • Datenverschlüsselung und Maskierung
  • Zugriffskontrolle und Authentifizierung
  • Sicherheitsbedrohungen und ihre Abwehr
  
  
•  Daten-Governance und Compliance
  
  • Was ist Daten-Governance?
  • Rolle des Data Stewards
  • Datenschutz-Grundverordnung (DSGVO) und andere Vorschriften
  • Implementierung von Compliance-Maßnahmen
  
  
•  Monitoring und Fehlerbehandlung
  
  • Überwachungstools und -strategien
  • Fehlererkennung und -behebung
  • Alarmierung und Benachrichtigungssysteme
  • Rückverfolgbarkeit und Audit-Trails
  
  

Praktische Übung
: Extraktion und Transformation von Daten mit einem ausgewählten ETL-Tool

Am Seminar über den Aufbau von Datenpipelines und ETL-Prozessen sollten vor allem die folgenden Personen oder Rollen aus einem Unternehmen teilnehmen:

• Dateningenieure
  : Sie sind häufig die Hauptverantwortlichen für die Gestaltung und Implementierung von Datenpipelines und würden daher direkt von den im Seminar vermittelten Fähigkeiten profitieren.
• Datenanalysten
  : Obwohl sie sich hauptsächlich auf die Analyse von Daten konzentrieren, können Datenanalysten durch das Verständnis des ETL-Prozesses bessere Einblicke in die Herkunft und Qualität der Daten erhalten.
• Business Intelligence (BI) Fachleute
  : Personen, die Dashboards und Berichte erstellen, sollten wissen, wie Daten verarbeitet und in Data Warehouses oder Datenlaken geladen werden.
• Datenbankadministratoren (DBAs)
  : Ein Verständnis dafür, wie Daten extrahiert, transformiert und geladen werden, kann für DBAs nützlich sein, um die Performance und Integrität von Datenbanken sicherzustellen.
• Projektmanager und Produktmanager
  : Sie müssen oft verschiedene Technikteams koordinieren und könnten von einem tieferen Verständnis der Datenintegrationsprojekte profitieren.