Big Data - Definitionen, Technologien und Produkte im Überblick

Wahrnehmungen und Definitionen:

• Grenzen klassischer Datenbanken und Tools 
• Neue Anforderungen: Unstrukturierte Daten, Internet of Things, Sensordaten, Echtzeitanalyse 
• Gartner 3V (Volume, Velocity, Variety), IBM 4V (Volume, Velocity, Variety, Veracity)
• Real und Near-Real Time Analytics, Streaming, Machine Learning (ML) und Artificial Intelligence (AI)
• Data Warehouse, Grenzen von ETL
• Data Lake Konzepte, ELT, In Memory Analytics
• Big Data Tag Cloud der Assoziationen

Technologien und Anforderungen:

• GRID Konzepte für Massiv Parallel Processing (MPP)
• Verteilte Dateisysteme, DAS, NAS, SAN
• Infrastrukturmanagement: Scale Out vs. Scale Up
• MAP/REDUCE, In Memory Data, Columnar Data Organization
• CAP-Theorem, ACID, BASE
• Replikationsverfahren
• NoSQL und NewSQL
• Big Data und Cloud Computing
• Machine Learning und Deep Learning

Produkte und Herstellerstrategien:

• Apache HADOOP Core, Apache HADOOP Common: HBASE, Hive, Pig, Oozie, Flume, Kafka, Zookeeper etc.
• Beyond HADOOP: Apache Spark - Streaming, Machine Learning, SQL und Graph, Apache Flink
• Kommerzielle HADOOP Distributionen: Hortonworks, Cloudera, MapR, Microsoft HDInsight
• Cloud-Based Services: AWS Lex, IBM Watson, Google Cloud, Microsoft Azure
• Google Tensorflow
• ORACLE, IBM, SAP, SAS, Microsoft

• Allgemeine IT-Kenntnisse sind erforderlich.
• Kenntnisse in Datenbanktechnologien und Speicherkonzepten werden vorausgesetzt.
• Vorkenntnisse im Bereich Data Warehouse (DWH) sind von Vorteil, aber nicht zwingend erforderlich.

• IT-Architektinnen und -Architekten, die sich mit der Integration von Big Data in bestehende Systeme befassen.
• Fach- und Führungskräfte, die strategische Entscheidungen im Bereich Datenmanagement treffen.
• Projektleiter:innen, die Big Data-Projekte planen und umsetzen.
• Software-Ingenieurinnen und -Ingenieure, die an der Entwicklung von Big Data-Anwendungen arbeiten.
• Datenbank-Administratorinnen und -Administratoren, die für die Verwaltung und Optimierung von Datenbanken verantwortlich sind.
• Data Warehouse-Gestalter:innen, die bestehende Systeme an neue Anforderungen anpassen.