Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

Ollama Masterclass: Deployment, Anpassung und API-Integration

Webinar - GFU Cyrus AG

Die Teilnehmenden erlernen die schnelle Bereitstellung und Konfiguration von Ollama auf verschiedenen Betriebssystemen. Ziel ist es, die passende Model Library zu nutzen, eigene Modelle über Modelfiles zu erstellen und die lokale KI über REST-Schnittstellen oder Bibliotheken wie LangChain in bestehende Software-Projekte zu integrieren, um eine vollständige Datensouveränität zu gewährleisten.
Termin Ort Preis*
02.11.2026- 03.11.2026 online 1.713,60 €
02.11.2026- 03.11.2026 Köln 1.713,60 €
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • 1. Einführung in Lokale LLMs und Ollama
    • Das Ollama-Konzept: Warum Ollama das Docker für LLMs ist.
    • Vorteile des Self-Hostings: Datenschutz, Kostenkontrolle und Unabhängigkeit.
    • Quantisierung: Wie Modelle komprimiert werden, um auf handelsüblicher Hardware zu laufen (GGUF-Format).

  • 2. Installation und Hardware-Sizing
    • Plattformen: Nativ unter macOS, Linux und Windows.
    • GPU-Beschleunigung: Konfiguration für NVIDIA (CUDA), Apple Silicon (Metal) und AMD (ROCm).
    • Ressourcenplanung: RAM- und VRAM-Bedarf für 7B, 13B und 70B Modelle.

  • 3. Die Ollama Model Library
    • Top-Modelle im Einsatz: Llama 3 (Meta), Mistral, Phi-3 (Microsoft) und Gemma (Google).
    • Spezialisierte Modelle: CodeLlama für Programmierung und DeepSeek für Reasoning.
    • Lifecycle-Management: Pulling, Versionierung und Aktualisierung von Modellen.

  • 4. Customizing mit Modelfiles
    • Struktur eines Modelfiles: Base Model, System Prompts und Parameter (Temperature, Context Window).
    • Personalisierung: Erstellung von KI-Assistenten mit spezifischer Corporate Identity oder Fachwissen.
    • Modell-Import: Einbindung externer GGUF-Modelle von Hugging Face in Ollama.

  • 5. Ollama API und Integration
    • REST API: Endpunkte für /generate und /chat verstehen und nutzen.
    • Streaming vs. JSON: Effiziente Verarbeitung von Modell-Antworten in Web-Apps.
    • Python & JS SDKs: Programmatischer Zugriff auf lokale Modelle.

  • 6. Integration in den Developer Workflow
    • IDE-Integration: Ollama als Copilot-Ersatz in VS Code (z.B. mit Continue.dev).
    • LangChain & LlamaIndex: Aufbau von RAG-Systemen (Retrieval Augmented Generation) mit lokalen Daten.
    • Terminal-KI: Nutzung von Ollama direkt in der Shell für Automatisierungsskripte.

  • 7. User Interfaces und Web-Oberflächen
    • Open WebUI: Aufbau einer professionellen, ChatGPT-ähnlichen Oberfläche.
    • Kollaboration: Gemeinsame Nutzung eines Ollama-Servers im Team.
    • Monitoring: Überwachung von Modell-Auslastung und Performance.

  • 8. Sicherheit, Privacy und Compliance
    • Air-Gapped AI: Betrieb ohne jegliche Internetverbindung für höchste Sicherheit.
    • Data Residency: Warum lokale Modelle die ultimative Antwort auf die DSGVO sind.
    • Audit-Logging: Überwachung der lokalen KI-Nutzung im Unternehmen.

  • 9. Praxis-Workshop: The Private AI Server
    • Workshop: Einrichtung eines Ollama-Servers mit GPU-Beschleunigung.
    • Customization-Task: Erstellung eines spezialisierten Support-Bots via Modelfile.
    • Integration-Task: Entwicklung eines kleinen Tools, das Firmendokumente lokal analysiert.
    • Final Roadmap: Strategie zur schrittweisen Einführung lokaler LLMs im Unternehmen.




Dauer/zeitlicher Ablauf:
2 Tage
Zielgruppe:
  • Software-Entwickler: Zur Integration von KI-Funktionen ohne Abhängigkeit von Drittanbietern.
  • IT-Sicherheits- & Datenschutzbeauftragte: Zur Evaluierung sicherer KI-Alternativen.
  • Data Scientists: Für schnelles Prototyping und Experimentieren mit Open-Source-Modellen.
  • Systemadministratoren: Zum Aufbau und Betrieb lokaler Modell-Server.



Seminarkennung:
R102921
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha