Serverless Data Processing with Dataflow

Diese Schulung richtet sich an Big-Data-Experten, die ihr Verständnis von Dataflow vertiefen möchten, um ihre Datenverarbeitungsanwendungen voranzubringen. Beginnend mit den Grundlagen wird erklärt, wie Apache Beam und Dataflow zusammenarbeiten, um Ihre Datenverarbeitungsanforderungen zu erfüllen, ohne das Risiko einer Anbieterbindung einzugehen. Der Abschnitt über die Entwicklung von Pipelines behandelt, wie Sie Ihre Geschäftslogik in Datenverarbeitungsanwendungen umwandeln, die auf Dataflow laufen können. Die Schulung endet mit einem Schwerpunkt auf dem Betrieb, in dem die wichtigsten Lektionen für den Betrieb einer Datenanwendung auf Dataflow, einschließlich Überwachung, Fehlerbehebung, Testen und Zuverlässigkeit, behandelt werden.

• Zeigen Sie, wie Apache Beam und Dataflow zusammenarbeiten, um die Datenverarbeitungsanforderungen Ihres Unternehmens zu erfüllen.
• Fassen Sie die Vorteile des Beam Portability Frameworks zusammen und aktivieren Sie es für Ihre Dataflow-Pipelines.
• Aktivieren Sie Shuffle und Streaming Engine für Batch- bzw. Streaming-Pipelines, um maximale Leistung zu erzielen.
• Ermöglichen Sie eine flexible Ressourcenplanung für eine kosteneffizientere Leistung.
• Wählen Sie die richtige Kombination von IAM-Berechtigungen für Ihren Dataflow-Auftrag.
• Umsetzung bewährter Verfahren für eine sichere Datenverarbeitungsumgebung.
• Wählen Sie die E/A Ihrer Wahl für Ihre Dataflow-Pipeline aus und stimmen Sie sie ab.
• Verwenden Sie Schemata, um Ihren Beam-Code zu vereinfachen und die Leistung Ihrer Pipeline zu verbessern.
• Entwickeln Sie eine Beam-Pipeline mit SQL und DataFrames.
• Überwachung, Fehlerbehebung, Tests und CI/CD für Dataflow-Pipelines.

Um diesen Kurs optimal nutzen zu können, sollten die Teilnehmer die folgenden Kurse absolviert haben:

• Building Batch Data Pipelines
• Building Resilient Streaming Analytics Systems

• Dateningenieure.
• Datenanalysten und Datenwissenschaftler, die ihre Fähigkeiten im Bereich Data Engineering ausbauen möchten