Linux Administration für KI-Workloads mit GPUs

Treiber, CUDA-Stack, Performance und stabile Deployments für Training und Inference. Zu den Schwerpunkten gehören GPU-Stack unter Linux stabil aufsetzen, Container für KI: Docker, NVIDIA Container Toolkit, Ressourcen, Scheduling und Isolation, Performance-Tuning für Training und Inference, Observability, Troubleshooting und Betrieb und Praxis: Referenz-Setup und Abnahmecheck.

Die Schulung richtet sich an Linux-Administratorinnen und Linux-Administratoren mit Betriebsverantwortung für GPU-Server, DevOps- und Platform-Engineers, die KI-Workloads containerisiert ausrollen, ML-Engineers und MLOps-Verantwortliche mit Bedarf an stabilem Infrastruktur-Setup und IT-Betrieb und SRE-Teams, die Training und Inference absichern sowie alle, die GPU-Workloads unter Linux reproduzierbar, performant und wartbar betreiben wollen.

Sichere Linux-Kenntnisse (Shell, Systemdienste, Paketmanagement, Logs). Grundverständnis von Docker ist hilfreich, aber nicht zwingend.

Zu den Schwerpunkten gehören GPU-Stack unter Linux stabil aufsetzen, Container für KI: Docker, NVIDIA Container Toolkit, Ressourcen, Scheduling und Isolation, Performance-Tuning für Training und Inference, Observability, Troubleshooting und Betrieb und Praxis: Referenz-Setup und Abnahmecheck.

Ja. Ein eigener praxisbezogener Schwerpunkt ist „Praxis: Referenz-Setup und Abnahmecheck“. Dabei geht es unter anderem um Golden Path: von Bare Metal bis Container-Workload, Kompatibilitätsmatrix als Betriebsdokument und Checkliste für Go-Live: Tests, Limits, Monitoring, Backup. So werden die Inhalte auf konkrete Aufgaben und Anwendungssituationen übertragen.

Zu den angestrebten Ergebnissen gehören: Dieses Seminar richtet sich an Administratorinnen und Administratoren, die GPU-Server nicht nur „zum Laufen“ bringen, sondern verlässlich betreiben wollen; Du startest mit dem Fundament: Wie Treiberversionen, Kernelstände und Module zusammenhängen, was DKMS in der Praxis bedeutet und wie Du Updates so planst,; Secure Boot, signierte Module und typische dmesg-Fehlerbilder werden so behandelt, dass Du sie im Alltag wiedererkennst und sauber behebst; Anschließend setzt Du den CUDA-Stack korrekt zusammen; Du lernst, wie Du Kompatibilitäten zwischen CUDA, cuDNN und NCCL einschätzt, welche Symptome auf Library-Mismatches hindeuten und wie Du mit nvidia-smi,.

Ja. „Ressourcen, Scheduling und Isolation“ ist ein eigener Bestandteil der Schulung. Dazu gehören cgroups v2: CPU, RAM, IO und GPU-Device-Zugriff, MIG und GPU-Slicing (Überblick): sinnvolle Einsatzmuster, Ulimits, Shared Memory, Hugepages: typische KI-Engpässe und Mehrbenutzerbetrieb: Rechte, Gruppen, Policy-Ansätze.