0521 968 7740Mo–Fr, 8–17 Uhr
Viele LLM-Projekte scheitern nicht am ersten Prototyp, sondern an der Frage, wie Qualität nach Änderungen dauerhaft gesichert wird. Ein neuer Prompt wirkt im Demo-Fall besser, verschlechtert aber andere Nutzer-Szenarien. Ein Modell-Upgrade liefert flüssigere Texte, verliert jedoch fachliche Präzision. Ein RAG-System findet passende Quellen, erzeugt aber trotzdem unvollständige Antworten. Diese Schulung macht solche Risiken systematisch überprüfbar. Sie richtet sich an Teams, die LLM-Systeme nicht nur ausprobieren, sondern produktiv betreiben, weiterentwickeln und kontrolliert ausrollen wollen. Im Training werden Benchmarks und Eval-Sets so aufgebaut, dass sie echte Produktanforderungen abbilden. Dazu gehören Testfall-Kategorien, Golden-Datasets, kritische Edge-Cases, Negativbeispiele und klare Erwartungshaltungen. Darauf aufbauend werden automatische Evaluationsmethoden behandelt, etwa regelbasierte Checks, LLM-as-a-Judge-Ansätze und Bewertungen für RAG-Qualität. Human-Review wird nicht als manuelle Notlösung verstanden, sondern als bewusst gestalteter Qualitätsschritt mit Review-Guidelines, Stichproben und Eskalationswegen. Abschließend geht es um Regressionstests, Release-Kriterien und Reporting. Das Ergebnis ist ein Evaluations-Setup, das Produkt, Engineering und Governance verbindet und Entscheidungen über LLM-Änderungen nachvollziehbar macht.
