Open-Source-LLMs lokal betreiben: Grundkurs

Richte lokale Inferenz ein, bewerte Modelle und baue sichere Workflows ohne Cloud-Abhängigkeit. Zu den Schwerpunkten gehören LLM-Grundlagen für Open-Source-Stacks, Lokale Laufzeit einrichten und vergleichen, Prompting, das reproduzierbar funktioniert, RAG lokal: Wissen anbinden statt raten, Evaluation und Betrieb und Use-Cases, Grenzen, nächste Schritte.

Die Schulung richtet sich an IT-Administratoren und DevOps-Verantwortliche, die lokale KI-Services bereitstellen, Softwareentwicklerinnen und Softwareentwickler, die LLMs in Tools integrieren, Data- und AI-Engineers, die RAG und Evaluation aufsetzen und IT-Sicherheitsverantwortliche, die Datenschutz und Risiken bewerten sowie alle, die Open-Source-LLMs lokal betreiben und produktiv nutzen wollen.

Grundverständnis von IT-Systemen (Dateisystem, Prozesse, Netzwerk) und sicherer Umgang mit der Kommandozeile. Hilfreich sind Basiskenntnisse in Python oder einer Skriptsprache, aber nicht zwingend.

Zu den Schwerpunkten gehören LLM-Grundlagen für Open-Source-Stacks, Lokale Laufzeit einrichten und vergleichen, Prompting, das reproduzierbar funktioniert, RAG lokal: Wissen anbinden statt raten, Evaluation und Betrieb und Use-Cases, Grenzen, nächste Schritte.

Die Inhalte werden bis zu konkreten Arbeitsschritten zu RAG lokal: Wissen anbinden statt raten, Evaluation und Betrieb und Use-Cases, Grenzen, nächste Schritte geführt. Dadurch lässt sich das Gelernte gezielt auf eigene Aufgaben übertragen.

Zu den angestrebten Ergebnissen gehören: Wenn du Open-Source-LLMs lokal nutzen willst, brauchst du mehr als einen Modell-Download; Du brauchst ein Verständnis dafür, wie die Ausgabe entsteht und welche Stellschrauben zuverlässig zu besseren Ergebnissen führen; In diesem Seminar startest du bei den entscheidenden Grundlagen: Tokenisierung, Kontextfenster, Sampling-Strategien und die Grenzen von Quantisierung; Du lernst, Modellformate wie GGUF und safetensors einzuordnen und verstehst, warum bestimmte Laufzeiten für bestimmte Hardware besser geeignet sind; Im praktischen Teil setzt du eine lokale Inferenz-Umgebung auf und testest unterschiedliche Modelle mit klaren Kriterien: Antwortqualität, Konsistenz,.

Ja. „RAG lokal: Wissen anbinden statt raten“ ist ein eigener Bestandteil der Schulung. Dazu gehören Chunking, Embeddings, Retrieval, Re-Ranking als Pipeline, Lokale Vektordatenbanken und Dateiquellen (PDF, Markdown) und Qualität messen: Trefferquote, Zitierbarkeit, Kontextbudget.