Open-Source LLM Fine-Tuning für Entwickler

Von Datensatz bis Deployment: LoRA, DPO, Evaluation und sichere Inferenz in deiner Umgebung. Zu den Schwerpunkten gehören Modell- und Trainingsstrategie festlegen, Daten, die wirklich wirken, Supervised Fine-Tuning (SFT) mit PEFT, Preference Tuning: DPO statt Bauchgefühl, Evaluation, die dich vor Überraschungen schützt und Deployment & Betrieb.

Die Schulung richtet sich an Softwareentwickler und Machine-Learning-Engineers, die Open-Source LLMs anpassen, AI Engineers im Produktteam mit Verantwortung für Qualität und Betrieb, Data Scientists, die SFT und Preference Tuning umsetzen wollen, Plattform- und MLOps-Teams, die Serving, Monitoring und Releases absichern und Alle, die Fine-Tuning reproduzierbar planen, evaluieren und betreiben wollen.

Solide Python-Grundlagen und Erfahrung mit CLI/Git. Grundverständnis von Transformer/Tokenisierung und ML-Training (Begriffe wie Loss, Epoch, Overfitting).

Zu den Schwerpunkten gehören Modell- und Trainingsstrategie festlegen, Daten, die wirklich wirken, Supervised Fine-Tuning (SFT) mit PEFT, Preference Tuning: DPO statt Bauchgefühl, Evaluation, die dich vor Überraschungen schützt und Deployment & Betrieb.

Die Inhalte werden bis zu konkreten Arbeitsschritten zu Preference Tuning: DPO statt Bauchgefühl, Evaluation, die dich vor Überraschungen schützt und Deployment & Betrieb geführt. Dadurch lässt sich das Gelernte gezielt auf eigene Aufgaben übertragen.

Zu den angestrebten Ergebnissen gehören: Fine-Tuning wird oft als magischer Hebel verkauft, scheitert in der Praxis aber an Datenqualität, falschen Metriken und einem fehlenden Betriebsmodell; Dieses Seminar setzt genau dort an; Du lernst, wie du einen Use Case sauber in Trainingsziele übersetzt: Welche Fähigkeiten sollen stabiler werden, welche Antworten sind verboten,; Darauf aufbauend planst du deine Trainingsstrategie: PEFT oder Full Fine-Tuning, welche Adapter-Variante passt, und wie du Compute und Kosten so abschätzt,; Im Datenteil baust du Instruction-Datasets, die nicht nur groß, sondern brauchbar sind.

Ja. „Preference Tuning: DPO statt Bauchgefühl“ ist ein eigener Bestandteil der Schulung. Dazu gehören Pairwise Preferences: Datenschema und Sampling, DPO-Grundidee, Beta, Overfitting auf Präferenzen, Alternativen: ORPO, IPO, Best-of-N Sampling und Guardrails: Ablehnungen, Policy-Style, Safety-Prompts.