LLM Self-Hosting und Deployment

Plane, deploye und betreibe LLM-Inferenz on-premises: reproduzierbar, sicher, kostenkontrolliert. Zu den Schwerpunkten gehören Architektur & Entscheidungsgrundlagen, Hardware sizing ohne Rätselraten, Modelle & Formate für Self-Hosting, Serving & Deployment, Sicherheit, Zugriff & Datenkontrolle und Beobachtbarkeit & Betrieb.

Die Schulung richtet sich an IT-Administratoren und Platform Engineers, die On-Prem-Services betreiben, ML Engineers und MLOps Engineers mit Inferenz-Verantwortung, DevOps Engineers, die Container und Kubernetes betreuen und Security Engineers, die Datenabfluss und Zugriff absichern sowie alle, die LLMs ohne externe API-Abhängigkeit produktiv nutzen wollen.

Grundkenntnisse in Linux und Container-Konzepten (Docker-Grundbegriffe). Hilfreich: Basiswissen zu GPUs und Netzwerken, aber nicht zwingend.

Zu den Schwerpunkten gehören Architektur & Entscheidungsgrundlagen, Hardware sizing ohne Rätselraten, Modelle & Formate für Self-Hosting, Serving & Deployment, Sicherheit, Zugriff & Datenkontrolle und Beobachtbarkeit & Betrieb.

Die Inhalte werden bis zu konkreten Arbeitsschritten zu Sicherheit, Zugriff & Datenkontrolle, Beobachtbarkeit & Betrieb und RAG als produktionsnahes Add-on geführt. Dadurch lässt sich das Gelernte gezielt auf eigene Aufgaben übertragen.

Zu den angestrebten Ergebnissen gehören: Self-Hosting von LLMs ist eine Engineering-Aufgabe aus Infrastruktur, Performance und Risiko-Management; In diesem Seminar gehst du strukturiert vor: Zuerst definierst du Anforderungen, die später über Erfolg oder Frust entscheiden, etwa Ziel-Latenz, Nutzerzahlen, Kontextlänge,; Darauf aufbauend lernst du, wie du Hardware realistisch dimensionierst; Du verstehst die Stellhebel, die VRAM fressen oder sparen, zum Beispiel Quantisierung, KV-Cache, Batch-Größe und Parallelität; Du lernst Messwerte wie Tokens pro Sekunde, P95-Latenz und GPU-Auslastung richtig zu interpretieren und daraus Kapazitätsentscheidungen abzuleiten.

Ja. „Serving & Deployment“ ist ein eigener Bestandteil der Schulung. Dazu gehören vLLM, llama.cpp, Text Generation Inference (TGI), Docker/Compose und Kubernetes-Grundmuster, Rolling Updates, Canary, Versionierung und API-Design: OpenAI-kompatible Endpoints.