DP-3011 Implementing a Data Analytics Solution with Azure Databricks (DP-3011-A)

Grundlegendes zu Azure Databricks

• Überblick über Azure Databricks und seine Einsatzmöglichkeiten
• Erste Schritte und Orientierung im Azure Databricks-Umfeld
• Verschiedene Workload-Typen in Azure Databricks verstehen
• Grundkonzepte und Architektur von Azure Databricks

Data Governance und Sicherheit

• Verwaltung von Datenzugriff mit Unity Catalog
• Integration von Microsoft Purview für Daten-Governance und Compliance

Datenanalyse mit Azure Databricks

• Import und Erfassung von Daten
• Nutzung integrierter Tools zur Datenexploration
• Analyse von Daten mithilfe von DataFrame-APIs
• Übung: Daten untersuchen und analysieren

Arbeiten mit Apache Spark

• Grundlagen und Einsatzgebiete von Apache Spark
• Erstellen und Konfigurieren von Spark-Clustern
• Arbeiten mit Notebooks und Spark zur Verarbeitung von Daten
• Umgang mit unterschiedlichen Datendateien
• Datenvisualisierungstechniken in Azure Databricks
• Übung: Spark-basierte Datenverarbeitung praktisch anwenden

Datenmanagement mit Delta Lake

• Einführung in Delta Lake und die Vorteile für Datenspeicherung und -management
• Verwaltung von ACID-Transaktionen zur Datensicherheit
• Durchsetzung von Schemaregeln in Tabellen
• Rückverfolgbarkeit von Datenständen durch Zeitreisen (Data Versioning)
• Sicherstellung der Datenintegrität mit Delta Lake
• Übung: Praktisches Arbeiten mit Delta Lake

Entwicklung von Datenpipelines mit Delta Live Tables

• Vorstellung von Delta Live Tables und deren Möglichkeiten
• Datenintegration und -aufnahme automatisieren
• Echtzeitdatenverarbeitung umsetzen
• Übung: Erstellung einer End-to-End-Datenpipeline mit Delta Live Tables

Bereitstellung und Automatisierung von Workloads

• Verwendung von Azure Databricks Workflows zur Workflow-Orchestrierung
• Verständnis der Hauptkomponenten eines Workflow-Systems in Databricks
• Vorteile und Anwendungsfälle von Workflows kennenlernen
• Praktische Umsetzung: Erstellen und Ausrollen von Workloads über Databricks-Workflows
  

Teilnehmer sollten bereits mit relationalen Datenbanken, grundlegenden Konzepten von Cloud-Architekturen und Data Lakes sowie gängigen Analyse- und Präsentationswerkzeugen vertraut sein. Der Fokus liegt auf Anwendern, die den Aufbau und Betrieb von Data Lakehouse-Lösungen verstehen und Daten zur effizienten Analyse durch Dritte aufbereiten möchten.

Die Zielgruppe für das Seminar „DP-3011 Implementing a Data Analytics Solution with Azure Databricks (DP-3011-A)“ sind Datenanalysten und Data Engineers, die mit großen Datenmengen arbeiten und moderne Analyse-Workflows in der Cloud umsetzen möchten.

Angesprochen werden insbesondere Fachkräfte, die vorhandene Kenntnisse in Datenanalyse und grundlegender Datenmodellierung mitbringen und lernen wollen, wie sie Azure Databricks zur Datenvorbereitung, Analyse und für die Zusammenarbeit in Notizbuchumgebungen nutzen können.