KServe Schulung: Model Serving auf Kubernetes

KServe-Architektur und Installation

• KServe-Controller und Custom Resource Definitions
• Serverless-Modus mit Knative Serving
• RawDeployment-Modus ohne Knative Serving
• Ingress- und Gateway-Konfiguration für Inferenz

InferenceServices und Serving-Runtimes

• InferenceService-Ressourcen und Predictor-Spezifikation
• ServingRuntime und ClusterServingRuntime
• Container-Images für Custom Predictor
• Readiness- und Liveness-Prüfungen

Modellformate und Runtime-Auswahl

• ONNX Runtime für Inferenz
• scikit-learn-Modelle mit SKLearn Runtime
• TensorFlow Serving für Modellendpunkte
• Custom Runtime mit eigenen Images
• GPU-beschleunigte Predictor-Pods

Releases und Traffic-Steuerung

• Canary-Releases mit canaryTrafficPercent
• Rollback nach fehlerhaften Deployments
• Versionierte YAML-Manifeste
• Image-Tags und Modellversionen
• CI/CD-Anbindung für Serving-Manifeste

Autoscaling und Ressourcensteuerung

• Knative Pod Autoscaler
• Horizontal Pod Autoscaler
• Scale-to-zero für Inferenzdienste
• Concurrency Targets pro Revision
• Resource Requests und Limits
• GPU-Scheduling mit Node-Selektoren

Betrieb, Monitoring und Troubleshooting

• Prometheus-Metriken für Latenz
• Fehlerquoten und Statuscodes
• Alert-Regeln für Endpoint-Ausfälle
• Kubernetes-Events und Pod-Logs
• Image-Pull-Fehler und Startprobleme
• Fehlende Modellartefakte im Storage
• Falsche Runtime- und Pfadangaben
• Controller-Status und CRD-Events

• Grundlagen in Kubernetes-Ressourcen wie Pods, Services und Deployments
• Erfahrung mit Container-Images, zum Beispiel aus dem Linux Container Workshop
• Grobe Einordnung von Modellartefakten und Inferenz-Endpunkten

• MLOps-Engineerinnen und MLOps-Engineers mit Kubernetes-Bezug
• DevOps-Engineerinnen und DevOps-Engineers für KI-Inferenz
• Data-Scientistinnen und Data-Scientists mit Deployment-Aufgaben
• SRE-Teams für KI-Inferenz-Plattformen