Detaillierte Informationen zum Seminar
Inhalte:
Verarbeitung von großen Datenmengen mit Apache Spark und Python
Dieser praxisorientierte Kurs zeigt Ihnen wie Sie große Datenmengen (Big Data) mit PySpark (Python und Apache Spark) verarbeiten und analysieren können. Neben einer ausführlichen Einführung in PySpark wird die Integration von dem Python Datenanalyse Module Pandas in PySpark behandelt. Zudem werden die Möglichkeiten der Anwendung von Machine Learning in PySpark erläutert.
Beschreibung des Big Data Kurses
Der Kurs gliedert sich thematisch in drei Breiche, die die Teilnehmer schrittweise an Apache Spark heranführen.
Der erste (eher theoretische) Teil gibt einen knappen Überblick aktueller Technologien zur Speicherung und Verarbeitung großer Datenmengen (Hadoop und Kubernetes), und welchen Platz Spark als wichtiges Datenverarbeitungsframework darin einnimmt.
Der zweite, praktisch angelegte Teil umfasst eine ausführliche Einführung in die Arbeit mit Apache Spark mit Python (PySpark). Dieses Modul stellt den Kern des Workshops dar. Dementsprechend werden dabei alle wichtigen Punkte angesprochen:
• Einladen von Daten
• Datenaufbereitung (Transformation, Filtern, Joinen, Aggregation)
• Anbindung verschiedener Datenquellen
• Ausführungsmodelle von Apache Spark
• Integration von dem Python Data Science Module Pandas und wichtige Unterschiede
Die Teilnehmer werden all diese Schritte direkt an praktischen Beispielen und Übungen umsetzen. Zusätzlich werden auch gängige Grundkonzepte zur Datenorganisation in Big Data Projekten angesprochen.
Der dritte Teil behandelt schließlich die in Spark vorhandenen Möglichkeiten zur Datenanalyse und zum maschinellen Lernen (ML). Es werden kurz die grundlegenden Konzepte und Vorgehensweisen von ML erläutert und an einem Beispiel mit PySpark praktisch angewandt.
Was lernen Sie im PySpark Seminar?
Der Fokus des Workshops liegt auf dem Umgang mit PySpark zur Verarbeitung und Analyse großer Datenmengen. Der Bereich „Machine Learning“ wird im letzten Teil ebenfalls besprochen, jedoch wird das Thema aufgrund der inherenten Komplexität theoretisch nur knapp umrissen. Im Mittelpunkt steht vielmehr, welche Möglichkeiten Apache Spark zu diesem Anwendungsgebiet anbietet, und unter welchen Bedingungen der Einsatz von PySpark anderen Alternativen vorzuziehen ist.
Der Workshop versetzt die Teilnehmer in die Lage, selbständig Daten mit Hilfe von Apache Spark zu transformieren und analyieren.
Ziele/Bildungsabschluss:
Der Workshop versetzt die Teilnehmer in die Lage, selbständig Daten mit Hilfe von Apache Spark zu transformieren und analyieren.
Teilnahmevoraussetzungen:
Die Teilnehmer sollten grundlegende Programmier- und SQL Kenntnisse besitzen. Alle Programmierbeispiele für Apache Spark werden in Python umgesetzt. Die Erfahrung zeigt, dass sich Teilnehmer mit Kenntnissen in anderen Programmiersprachen schnell in Python zurechtfinden.
Englischkenntnisse (lediglich im Verstehen von englischen Texten) sind sehr nützlich, da Python und die Internet-Dokumentationen auf Englisch sind. Daher sind auch die Folien im Kurs auf Englisch. Die Schulung selbst wird auf Deutsch gehalten.
Förderung:
Bildungscheck NRW
Zielgruppe:
Der Kurs wendet sich primär an Data Scientists und Data Analysts, die mit Hilfe von Python und Apache Spark (PySpark) große Datenmengen verarbeiten und analysieren möchten.
