Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

Ollama: Lokale LLMs einfach ausführen

Seminar - GFU Cyrus AG

Die Teilnehmenden erlernen die schnelle Bereitstellung und Konfiguration von Ollama auf verschiedenen Betriebssystemen. Ziel ist es, die passende Model Library zu nutzen, eigene Modelle über Modelfiles zu erstellen und die lokale KI über REST-Schnittstellen oder Bibliotheken wie LangChain in bestehende Software-Projekte zu integrieren, um eine vollständige Datensouveränität zu gewährleisten.
Termin Ort Preis*
firmenintern auf Anfrage auf Anfrage
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • 1. Einführung und Architektur
    • Das Ollama-Konzept: Warum Ollama das Docker für LLMs ist.
    • Model Quantization: Wie Modelle komprimiert werden, um auf handelsüblicher Hardware zu laufen.
    • Performance-Check: RAM-Anforderungen und Modellgrößen (7B, 13B, 70B) im Vergleich.

  • 2. Installation und Setup
    • Plattformen: Nativ unter macOS, Linux (ink. WSL2) und Windows.
    • Docker-Deployment: Betrieb von Ollama in Container-Umgebungen für Server.
    • GPU-Support: Aktivierung von Hardware-Beschleunigung für NVIDIA (CUDA), Apple Silicon (Metal) und AMD (ROCm).

  • 3. Die Ollama Model Library
    • Modell-Auswahl: LLaMA (Meta), Mistral, Phi (Microsoft), Gemma (Google) und Qwen.
    • Spezialisierte Modelle: CodeLlama für Programmierung und MedPrompt für medizinische Kontexte.
    • Management: Pulling, Listing und Löschen von Modell-Instanzen über das CLI.

  • 4. Customizing mit Modelfiles
    • Struktur eines Modelfiles: Base Model, System Prompts und Parameter (Temperature, Top-K).
    • Personalisierung: Erstellung von KI-Assistenten mit spezifischer Persona oder Fachwissen.
    • Import: Einbindung externer GGUF-Modelle von Hugging Face in Ollama.

  • 5. Ollama API und Integration
    • REST API: Endpunkte für /generate und /chat verstehen und nutzen.
    • Libraries: Nutzung der offiziellen Python- und JavaScript-SDKs.
    • Streaming vs. JSON: Effiziente Verarbeitung von Modell-Antworten in Web-Apps.

  • 6. Integration in den Developer Workflow
    • Continue.dev: Lokale KI als Copilot-Ersatz in VS Code und JetBrains.
    • LangChain & LlamaIndex: Aufbau von RAG-Systemen (Retrieval Augmented Generation) mit lokalen Daten.
    • Terminal-KI: Nutzung von Ollama direkt in der Shell für schnelle Hilfe.

  • 7. User Interfaces und Kollaboration
    • Open WebUI: Aufbau einer ChatGPT-ähnlichen Oberfläche im eigenen Netzwerk.
    • Multi-User Support: Verwaltung von Zugriffen und geteilten Modell-Ressourcen.
    • Ollama Web UI vs. CLI: Vor- und Nachteile verschiedener Interaktionsformen.

  • 8. Sicherheit, Privacy und Compliance
    • Air-Gapped AI: Betrieb ohne jegliche Internetverbindung.
    • Data Residency: Warum lokale Modelle die ultimative Antwort auf die DSGVO sind.
    • Audit-Logging: Überwachung der lokalen KI-Nutzung im Unternehmen.

  • 9. Praxis-Workshop: The Private AI Server
    • Workshop: Einrichtung eines Ollama-Servers mit GPU-Beschleunigung.
    • Coding-Task: Entwicklung eines kleinen Python-Tools, das Dokumente lokal zusammenfasst.
    • Customization-Task: Erstellung eines spezialisierten Support-Bots via Modelfile.
    • Final Roadmap: Strategie zur schrittweisen Ablösung von Cloud-KI-Diensten durch lokale Instanzen.




Zielgruppe:
  • Software-Entwickler: Zur Integration von KI-Funktionen ohne Abhängigkeit von OpenAI/Anthropic.
  • IT-Sicherheits- & Datenschutzbeauftragte: Zur Evaluierung sicherer KI-Alternativen.
  • Data Scientists: Für schnelles Prototyping und Experimentieren mit Open-Source-Modellen.
  • Systemadministratoren: Zum Aufbau und Betrieb lokaler Modell-Server.



Seminarkennung:
S6517
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha