0521 968 7740Mo–Fr, 8–17 Uhr
Budgetsteuerung beginnt am Zugangspunkt, über den Anwendungen ihre Modellanfragen senden. Die LiteLLM Schulung führt dich durch den Aufbau dieses Zugangspunkts als containerisierten Plattformdienst. Du startest den LiteLLM Proxy, richtest seine OpenAI-kompatible API ein und verbindest Cloud-Anbieter sowie lokale Modellserver. Modell-Aliasse geben den Anwendungen stabile Namen, während du die dahinterliegenden Endpunkte zentral wechselst. Die Übungen behandeln den Gateway-Betrieb als Plattformaufgabe. Agentenlogik erscheint nur als angebundener Client. Ein Schwerpunkt liegt auf virtuellen API-Keys. Du ordnest Schlüssel einem Nutzer, einem Team oder einem Mandanten zu und begrenzt ihre Laufzeit. Budgets kontrollieren den zulässigen Verbrauch. Rate-Limits legen fest, wie viele Requests oder Tokens ein Schlüssel innerhalb eines Zeitfensters verwenden darf. Du prüfst auch die Antworten, die eine Anwendung bei überschrittenen Grenzen erhält. Anschließend konfigurierst du Fallbacks für ausgefallene oder überlastete Modell-Endpunkte. Das Load-Balancing verteilt eingehende Anfragen auf verfügbare Deployments. Definierte Timeouts verhindern, dass einzelne Provider-Aufrufe Verbindungen dauerhaft belegen. Prometheus erfasst technische Gateway-Metriken. Kosten- und Token-Daten zeigen, welche Mandanten oder Modell-Aliasse Verbrauch erzeugen. Du lagerst Secrets aus der Proxy-Konfiguration aus und begrenzt den Inhalt der Logs auf benötigte Betriebsdaten. Abschließende Tests verbinden Schlüsselverwaltung, Budgets, Routing und Monitoring. Dadurch erhält dein Team einen überprüfbaren Kontrollpunkt für Modellzugriffe, der Kostenüberschreitungen früh sichtbar macht und Provider-Ausfälle über vorbereitete Ersatzpfade abfängt.
