AWS Glue: Datenintegration und -transformation in der Cloud

• Einführung in AWS Glue
  
  • Was ist AWS Glue?
  • Überblick über die Funktionen und Vorteile
  • Vergleich mit anderen ETL-Tools (z. B. Apache Spark, Talend)
  
  
• AWS Glue-Architektur und Komponenten
  
  • Glue Data Catalog
  • Glue Crawler und Klassifizierer
  • Glue Jobs und Entwicklungsendpunkte
  
  
• Datenquellen und -ziele in AWS Glue
  
  • Unterstützte Datenformate (z. B. JSON, CSV, Parquet)
  • Integration mit AWS-Services (S3, RDS, Redshift)
  • Verbindung zu externen Datenquellen
  
  
• Erstellung und Verwaltung von Glue Jobs
  
  • Erstellung von ETL-Jobs mit dem Glue Studio
  • Verwendung von PySpark und Scala für benutzerdefinierte Transformationen
  • Planung und Überwachung von Glue Jobs
  
  
• Übung am Ende des Tages:
  
  • Praktische Übung:
      Die Teilnehmer erstellen einen einfachen ETL-Job, um Daten von einer  S3-Bucket zu extrahieren, zu transformieren und in eine andere S3-Bucket zu laden.
  
  
• Datenkatalog und Metadatenverwaltung
  
  • Erstellung und Verwaltung von Datenkatalogen
  • Nutzung von Crawlern zur automatischen Erkennung von Schemata
  • Metadatenverwaltung und -optimierung
  
  
• Erweiterte Datenverarbeitung mit AWS Glue
  
  • Verwendung von Dynamic Frames für flexible Datenverarbeitung
  • Umgang mit komplexen Datentypen und verschachtelten Strukturen
  • Optimierung von Glue Jobs für große Datenmengen
  
  
• Integration mit anderen AWS-Services
  
  • Integration mit AWS Lambda für serverlose Datenverarbeitung
  • Nutzung von AWS Step Functions für komplexe Workflows
  • Datenanalyse mit AWS Athena und Redshift
  
  
• Best Practices und Sicherheit in AWS Glue
  
  • Sicherheitsbest Practices (IAM-Rollen, Verschlüsselung)
  • Kostenoptimierung und Ressourcenmanagement
  • Fehlerbehandlung und Logging
  
  
• Übung am Ende des Tages:
  
  • Projektarbeit:
      Die Teilnehmer entwickeln einen komplexen ETL-Workflow, der mehrere  Datenquellen integriert und transformiert, und präsentieren ihre  Ergebnisse.
    
    
    
    
  
  

• Data Engineers und Datenarchitekten
  , die ETL-Prozesse in der Cloud implementieren möchten
• Cloud-Architekten und DevOps-Ingenieure
  , die AWS-Services für Datenverarbeitung nutzen wollen
• Datenanalysten und Data Scientists
  , die große Datenmengen verarbeiten müssen
• IT-Manager und Entscheidungsträger
  , die Cloud-basierte Datenlösungen evaluieren

Voraussetzungen:

• Grundkenntnisse in Datenverarbeitung und ETL-Prozessen
• Erfahrung mit AWS-Services (z. B. S3, IAM)
• Grundkenntnisse in Python oder Scala sind von Vorteil