Data Engineering: KI-Pipelines im Einsatz

Baue robuste Datenpipelines, die Training, Inferenz und Monitoring zuverlässig versorgen. Zu den Schwerpunkten gehören Architektur für KI-Datenpipelines, Ingestion und Datenverträge, Transformationen, Qualität und Lineage, Orchestrierung und zuverlässiger Betrieb, Feature Engineering als Produkt und Governance, Sicherheit und Kosten.

Die Schulung richtet sich an Data Engineers mit erster Pipeline-Erfahrung, Analytics Engineers, die KI-Use-Cases bedienen, ML Engineers, die Datenflüsse produktiv machen, Plattform- und Cloud Engineers im Datenumfeld und Alle, die KI-Systeme mit verlässlichen Datenpipelines versorgen wollen.

Grundverständnis von Datenpipelines (z. B. ETL/ELT, Batch oder Streaming). Basiswissen zu SQL und Datenmodellierung ist hilfreich.

Zu den Schwerpunkten gehören Architektur für KI-Datenpipelines, Ingestion und Datenverträge, Transformationen, Qualität und Lineage, Orchestrierung und zuverlässiger Betrieb, Feature Engineering als Produkt und Governance, Sicherheit und Kosten.

Die Inhalte werden bis zu konkreten Arbeitsschritten zu Feature Engineering als Produkt, Governance, Sicherheit und Kosten und Produktionsreife KI-Datenflüsse geführt. Dadurch lässt sich das Gelernte gezielt auf eigene Aufgaben übertragen.

Zu den angestrebten Ergebnissen gehören: Dieses Seminar richtet sich an alle, die bereits Datenpipelines gebaut haben und sie für KI-Workloads auf Produktionsniveau heben wollen; Du startest mit den typischen Anforderungen von KI-Systemen: unterschiedliche Aktualitätsbedarfe, hohe Varianz in Datenqualität, wiederholbare Trainingsläufe und eine Inferenz,; Daraus leitest Du eine Zielarchitektur ab, in der Batch und Streaming sauber koexistieren und die Datenplattform nicht bei jeder Modelliteration umgebaut werden muss; Du lernst, wie Du Ingestion so gestaltest, dass sie robust gegen Duplikate, verspätete Events und Quelländerungen bleibt; Datenverträge und Schema Evolution werden dabei nicht als Bürokratie behandelt, sondern als Mechanik,

Ja. „Orchestrierung und zuverlässiger Betrieb“ ist ein eigener Bestandteil der Schulung. Dazu gehören DAG-Design, Abhängigkeiten, SLAs und Retries, Scheduling, Event-driven Trigger, Sensoren, Observability: Logs, Metriken, Traces und Runbooks und Incident-Playbooks.