0521 968 7740Mo–Fr, 8–17 Uhr
Data-Engineering-Teams wachsen oft schneller als ihre Orchestrierung. Python-Skripte, SQL-Transformationen und KI-Schritte laufen in mehreren Repositories, während Abhängigkeiten, Wiederholungen und Fehlerpfade schwer nachvollziehbar bleiben. Diese Dagster Schulung greift genau diese Lücke auf und übersetzt sie in ein sauberes Asset-Modell. Im Data Orchestration Training legst du ein Dagster-Repository an, modellierst fachliche Datenprodukte und verknüpfst sie mit Ops, Resources und Konfigurationen. Dagster UI zeigt dir, welche Assets materialisiert wurden, welche Metadaten entstanden sind und wo ein Run abgebrochen ist. Der zweite Teil vertieft produktionsnahe Steuerung: Jobs bündeln Ausführungen, Schedules planen regelmäßige Läufe und Sensors reagieren auf externe Ereignisse. Partitionen bilden Zeiträume oder Datenpakete ab, Backfills aktualisieren gezielt historische Daten. Tests und Asset Checks sichern kritische Annahmen, etwa erwartete Spalten, leere Ergebnisse oder Grenzwerte. CI/CD bindet diese Prüfungen in Änderungen am Repository ein. Das KI-Beispiel verarbeitet Feature-Daten oder Embeddings und zeigt, wie ein Data Engineering Workflow für Analytics und MLOps nachvollziehbar bleibt. Der Dozent bespricht typische Architekturentscheidungen, etwa die Abgrenzung zwischen Asset, Op und Resource, die Struktur von Umgebungsvariablen und den Umgang mit Secrets in Deployment-Prozessen. Übungen mit fehlerhaften Läufen trainieren das Lesen von Logs und das gezielte erneute Starten betroffener Partitionen. Am Ende hast du ein lauffähiges Musterprojekt, das als Vorlage für eigene Data Pipelines dient.
