RAG und Vektordatenbanken Training: Enterprise AI beherrschen

Grundlagen semantischer Suche

• Funktionsweise von High-Dimensional Vector Spaces und Bedeutung für semantische Ähnlichkeit
• Erzeugung von Embeddings mit OpenAI-Modellen und Hugging-Face-Modellen
• Unterschiede zwischen Tokenisierung, Embedding-Modellen und Sprachmodellen
• Chunking-Strategien für Dokumente, Webseiten, PDFs und Wissensdatenbanken
• Fixed-size Chunking, semantisches Chunking und Overlap-Strategien im Vergleich
• Cosine Similarity, Euclidean Distance und weitere Distanzmaße für Retrieval-Systeme
• Auswirkungen von Chunk-Größe, Datenqualität und Metadaten auf die Antwortqualität

Vektordatenbanken in der Praxis

• Marktüberblick zu Pinecone, Weaviate, Milvus und Qdrant
• Auswahlkriterien für Vektordatenbanken im Enterprise-Umfeld
• Setup, Konfiguration und Befüllung einer Vektordatenbank
• Aufbau von Collections, Schemas, Namespaces und Metadatenstrukturen
• Indizierungsalgorithmen wie HNSW und IVF sowie deren Auswirkungen auf Performance und Treffergenauigkeit
• Metadaten-Filterung für präzisere Suchergebnisse und domänenspezifische Einschränkungen
• Strategien für Aktualisierung, Löschung und Versionierung eingebetteter Dokumente

Retrieval-Augmented Generation mit LLMs

• Architekturmuster für RAG-Anwendungen mit Unternehmensdaten
• Aufbau einer vollständigen Pipeline von Datenimport über Retrieval bis zur Antwortgenerierung
• Orchestrierung mit LangChain und LlamaIndex
• Prompt Engineering für kontextbezogene, quellennahe Antworten
• Grounding zur Reduzierung von Halluzinationen und zur besseren Nachvollziehbarkeit
• Umgang mit Kontextfenstern, Token-Limits und relevanter Dokumentauswahl
• Einbindung strukturierter und unstrukturierter Datenquellen in RAG-Workflows

Advanced Retrieval Techniken

• Hybrid Search als Kombination aus keywordbasierter Suche und semantischem Retrieval
• Re-Ranking-Methoden zur Verbesserung der Ergebnisrelevanz
• Query Expansion und Multi-Query-Ansätze für robustere Suchanfragen
• Parent-Child Document Retrieval für bessere Kontextsteuerung
• Strategien gegen irrelevante Treffer, doppelte Inhalte und Kontextverlust
• Optimierung von Top-k-Auswahl, Score-Schwellenwerten und Retrieval-Parametern
• Vergleich von Naive RAG, Advanced RAG und produktionsnahen Pipeline-Varianten

Produktivsetzung, Evaluierung und Betrieb

• Qualitätsmessung mit RAGAS anhand von Treue, Kontextrelevanz und Antwortqualität
• Testdatensätze und Evaluierungsmetriken für RAG-Systeme
• Datenschutz, Datensicherheit und Zugriffskontrolle bei proprietären Unternehmensdaten
• Latenzoptimierung durch Caching, Index-Tuning und effiziente Pipeline-Schritte
• Skalierung von Vektor-Indizes bei wachsenden Dokumentbeständen
• Monitoring, Fehleranalyse und kontinuierliche Verbesserung von Retrieval-Pipelines
• Deployment-Überlegungen für RAG-Anwendungen in produktionsnahen Umgebungen

• Solide Python-Kenntnisse für Übungen, API-Zugriffe und Datenverarbeitung
• Grundverständnis von REST-APIs, JSON und Authentifizierung
• Erste Erfahrung mit LLMs, Prompting oder KI-gestützten Anwendungen
• Grundlagen zu Datenbanken, Dokumentenstrukturen und Softwareentwicklung sind hilfreich
• Für vertiefende API-Szenarien eignet sich ergänzend das Training APIs mit KI nutzen: RAG, Datenabruf und mehr

• Softwareentwicklerinnen und Softwareentwickler, die LLM-Anwendungen mit eigenen Datenquellen, APIs und Dokumentbeständen verbinden wollen
• Data Scientists und ML Engineers, die Embeddings, Vektordatenbanken und Retrieval-Pipelines für Unternehmensanwendungen einsetzen
• Softwarearchitektinnen und Softwarearchitekten, die skalierbare RAG-Architekturen für Enterprise AI bewerten und entwerfen
• Teams aus IT, Data und Produktentwicklung, die Chatbots, Wissensassistenten oder interne Suchsysteme mit semantischer Suche umsetzen