Databricks Foundation

Tag 1: Theorie und Grundarchitektur - Lakehouse Platform & Data Governance

• Teil 1: Theorie, Grundlagen und Einordnung
  
  • Rolle von DataOps, Data Engineering und Data Analytics in modernen Datenökosystemen
  • Überblick Databricks Lakehouse: zentrale Konzepte, Architektur und Workflow
  • Aufbau einer Medaillon-Architektur (Bronze -> Silber -> Gold)
  • Einordnung von Data Mesh, Data Products und Data Fabric
  • Spark-Grundlagen: Cluster, Runtimes, Execution Model
  • Delta Lake: ACID, Versionierung, Time Travel, Performance-Optimierung
  
  
• Teil 2: Grundarchitektur - Lakehouse Plattform & Data Governance
  
  • Databricks Workspaces, Cluster-Typen (Classic Compute vs. Serverless), SQL Warehouses
  • Unity Catalog: Data Governance, Berechtigungen, Data Lineage, Data Discovery
  • Databricks One: Integration von Databricks AI/BI Dashboards und Databricks Genie
  • Cloud-Integration (AWS / Azure): Landing Zones, Networking, Storage-Anbindung
  • Sicherheitsmodelle: Rollen, Berechtigungen, Secrets, Verschlüsselung
  
  

Tag 2: Ingestion & Intergration, Transformation & Pipelines

• Teil 3: Daten kommen an - Ingestion & Integration
  
  • Anbindung von Datenquellen: Datenbanken, Cloud-Storages, APIs, Streaming
  • Ingestion-Strategien: Batch, Streaming, Auto Loader, Partner Connect
  • Aufbau von Landing Zones für strukturierte & unstrukturierte Daten (z. B. SAP / Non-SAP)
  • Best Practices zur zuverlässigen Datenübernahme (DataOps-Ansätze)
  
  
• Teil 4: Daten werden verarbeitet - Transformation & Pipelines
  
  • Arbeiten mit Notebooks (Python, SQL, Spark)
  • Aufbau von ETL/ELT-Pipelines mit Spark Declarative Pipelines (Databricks Pipelines & Jobs)
  • DataOps-Prinzipien: CI/CD, Git-Integration, Reproduzierbarkeit
  • Optimierung von Pipelines und Clustern
  
  

Tag 3: Data Products & Sharing, Analytics & Reporting

• Teil 5: Bereitstellung der Daten - Data Products & Sharing
  
  • Umsetzung der Medaillon-Stufen (Bronze -> Silber -> Gold)
  • Aufbau produktionsreifer Data Products
  • Delta Sharing: interne und externe Datenbereitstellung
  • Data Governance mit dem Databricks Unity Catalog
  • Databricks Asset Bundles: strukturierte Blueprints für Data Products & Use Cases
  
  
• Teil 6: Auswertung der Daten - Analytics & Reporting
  
  • Analytische Abfragen mit Databricks SQL
  • Erstellung von Databricks AI/BI Dashboards und Reports
  • Integration von BI-Tools (am Beispiel von Power BI)
  • Skalierungsstrategien für Analyse-Workloads
  • Typische Use Cases: Standarding Reporting, Self-Service BI und Ad-hoc-Analysen
  
  

Dieses Seminar richtet sich an Data Engineers, DataOps Engineers, Analytics Engineers, BI-Entwickler, Cloud-Architekten und IT-Professionals, die mit Databricks auf AWS oder Azure arbeiten oder eine Lakehouse-Plattform aufbauen möchten.

Sie arbeiten beispielsweise im Bereich Data Engineering, Reporting, Business Intelligence oder Plattformbetrieb.

Sie benötigen Grundkenntnisse in SQL und ein grundlegendes Verständnis von Datenarchitekturen.

Erste Erfahrungen mit Cloud-Plattformen wie AWS oder Azure sind von Vorteil.

Das Seminar ist als praxisorientiertes Foundation-Training konzipiert und kombiniert konzeptionelle Grundlagen mit intensiven Hands-on-Übungen.

S6211