Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

Lokale KI im Unternehmen: DeepSeek, LLaMA und Mistral mit Ollama/vLLM selbst betreiben

Seminar - GFU Cyrus AG

Die Teilnehmenden erlernen die Installation, Konfiguration und Optimierung lokaler Sprachmodelle. Ziel ist es, DeepSeek, LLaMA und Mistral mittels Ollama (für Workstations) oder vLLM (für Server-Cluster) bereitzustellen, die passende Quantisierung für die vorhandene Hardware zu wählen und eine API-Schnittstelle zu etablieren, die DSGVO-konforme KI-Services für das gesamte Unternehmen bereitstellt.
Termin Ort Preis*
01.02.2027- 03.02.2027 online 2.415,70 €
01.02.2027- 03.02.2027 Köln 2.415,70 €
02.08.2027- 04.08.2027 online 2.415,70 €
02.08.2027- 04.08.2027 Köln 2.415,70 €

Alle Termine anzeigen

*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • 1. Die neue Ära der Open-Source-Modelle
    • Modell-Landschaft: DeepSeek (Coder/V3), LLaMA (Meta) und Mistral im Vergleich.
    • Capabilities: Welches Modell eignet sich für Coding, Reasoning oder kreatives Schreiben?
    • Wirtschaftlichkeit: Cloud-API-Kosten vs. Investition in eigene Hardware/Strom.

  • 2. Hardware-Sizing und GPU-Infrastruktur
    • VRAM-Kalkulation: Wie viel Speicher benötigen 7B, 32B oder 70B Modelle?
    • NVIDIA vs. Apple Silicon vs. CPU: Auswahl der passenden Rechenleistung.
    • Multi-GPU-Setups: Tensor-Parallelismus und Verteilung großer Modelle.

  • 3. Ollama: Die unkomplizierte Einstiegslösung
    • Installation & Management: Betrieb unter Linux, Windows (WSL2) und Docker.
    • Modelfiles: Anpassung von System-Prompts und Parametern für DeepSeek & Co.
    • Desktop-Integration: Lokale KI als Copilot-Ersatz in der Entwicklungsumgebung.

  • 4. vLLM: High-Performance Inferenz für Teams
    • Architektur: Durchsatzmaximierung durch PagedAttention und Continuous Batching.
    • Server-Betrieb: Bereitstellung eines OpenAI-kompatiblen API-Endpunkts.
    • Scaling: vLLM im produktiven Einsatz für hunderte gleichzeitige Nutzer.

  • 5. Quantisierung: Effizienz ohne Qualitätsverlust
    • Formate im Fokus: GGUF, AWQ und GPTQ - was passt zu welcher Hardware?
    • Bit-Tiefe: Der Trade-off zwischen 4-bit, 8-bit und FP16 Precision.
    • Modell-Kompression: Große Modelle auf kleineren GPUs lauffähig machen.

  • 6. Integration und API-Orchestrierung
    • Standardisierung: Nutzung von OpenAI-kompatiblen Schnittstellen für einfachen Austausch.
    • LangChain & LlamaIndex: Einbindung lokaler Modelle in komplexe Workflows.
    • Function Calling: Lokale Modelle zur Steuerung interner APIs befähigen.

  • 7. RAG: Wissen lokal verarbeiten
    • Retrieval Augmented Generation: Anbindung lokaler Dokumentendatenbanken.
    • Embedding-Modelle: Lokale Vektorisierung für maximale Sicherheit.
    • Souveränität: Warum RAG mit lokalen LLMs der Goldstandard für Firmengeheimnisse ist.

  • 8. Monitoring, Sicherheit und Governance
    • Observability: Überwachung von Token-Durchsatz, Latenz (TTFT) und Fehlerraten.
    • Access Control: Absicherung der API-Endpunkte und Nutzer-Authentifizierung.
    • Compliance: Audit-Logging und DSGVO-Aspekte beim Self-Hosting.

  • 9. Praxis-Workshop: The Local AI Powerhouse
    • Setup-Challenge: Installation von DeepSeek-R1 oder LLaMA-3 auf einem Server.
    • Benchmarking: Vergleich der Performance zwischen Ollama und vLLM.
    • Integration-Task: Aufbau eines einfachen Chat-Interfaces (z. B. Open WebUI) für das Team.
    • Final Roadmap: Migrationsplan von Cloud-APIs zu einer lokalen Infrastruktur.




Dauer/zeitlicher Ablauf:
3 Tage
Zielgruppe:
  • IT-Administratoren & Platform Engineers: Zum Aufbau und Betrieb der KI-Infrastruktur.
  • CTOs & IT-Entscheider: Zur Evaluation von Open-Source-Alternativen zu OpenAI/Claude.
  • Datenschutzbeauftragte & Compliance-Manager: Zur Sicherstellung der Datensouveränität.
  • AI & Software Engineers: Zur Integration lokaler LLMs in Unternehmenssoftware.



Seminarkennung:
103418
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha