Machine Learning - Sprachverarbeitung mit Transformern und Hugging Face

Machine Learning – Sprachverarbeitung mit Transformern und Hugging Face

In dieser Schulung erhalten Sie einen fundierten Überblick über Natural Language Processing (NLP) und lernen, wie Sie die neuesten NLP-Technologien effizient einsetzen. Sie tauchen in die Geschichte der maschinellen Sprachverarbeitung ein – von regelbasierten Systemen über statistische Modelle bis hin zu modernen Transformer-Architekturen. Im Mittelpunkt steht die praktische Arbeit mit Hugging Face: Sie lernen, vortrainierte Modelle über den Model Hub zu nutzen und bestehende Modelle durch Fine-Tuning an eigene Anforderungen anzupassen. Als praxisnahes Beispiel generieren Sie mit einem GPT-2-Modell Bach-Choräle – von der Datenvorbereitung bis zum Training in Google Colab.

Schulungsinhalte

• Geschichte von Natural Language Processing (NLP)
• Symbolische Natural Language Processing (NLP)
• Statistische Natural Language Processing (NLP)
• Transformer Architektur: Aufbau
• Tokenizer
• Attention Mechanism
• Encoder Model (BERT)
• Decoder Model (GPT-2)
• Sequence-to-Sequence (BART, T5)
• Model Hub
• Fine-Tuning existierender Modelle
• Beispielanwendung für Musikverarbeitung – Praktisches Beispiel: Generierung von Bach-Chorälen
• Einen Transformer (GPT-2) from scratch trainieren
• Eigenen Tokenizer aufsetzen
• Datensatz von Chorälen aus MIDI in Tokens umwandeln
• Training starten und evaluieren (Google Colab)

Schulung im Kreis der Mitarbeitenden aus Ihrem Unternehmen: in Absprache mit Ihnen als individuelle Schulung nach Ihren Bedürfnissen.