Extract, Transform, Load, Change Data Capture (CDC), Data Cleaning & Idempotenz
Datenpipelines bilden das Rückgrat der modernen Datenarchitektur. Daten müssen aus Vorsystemen extrahiert, bereinigt, standardisiert und für Analysen bereitgestellt werden.
| Kriterium | ETL (Extract - Transform - Load) | ELT (Extract - Load - Transform) |
|---|---|---|
| Transformationsort | Separater Transformationsserver / Engine | Direkt im Zieldaten-Warehouse / Lakehouse |
| Performance | Begrenzt durch Serverkapazität | Massiv parallel (MPP-Cloud wie Snowflake/BigQuery) |
| Rohdatenspeicherung | Verliert Rohdaten oft nach Transformation | Rohdaten bleiben vollständig im DWH erhalten |
| Einsatzbereich | Klassische Legacy-DWHs, Datenschutz | Moderne Cloud-Architekturen & Data Lakes |
Statt zyklischer Vollabfragen (Full Dumps) oder fehleranfälliger Polling-Queries via WHERE updated_at > ... liest CDC Transaktionen direkt aus dem Write-Ahead Log (WAL) der Datenbank aus. Vorteile: Minimaler Overhead auf dem Produktionssystem, echtzeitnah (Streaming), und Hard Deletes werden zuverlässig erkannt.
Ein ETL-Job ist idempotent, wenn eine wiederholte Ausführung mit denselben Parametern denselben Endzustand herstellt, ohne dass Duplikate oder verfälschte Aggregationen entstehen (z.B. mittels UPSERT / MERGE INTO statt blindem INSERT).
Vergleichen Sie das klassische ETL-Verfahren (Extract, Transform, Load) mit dem modernen ELT-Verfahren (Extract, Load, Transform). Erläutern Sie Change Data Capture (CDC) zur inkrementellen Datenübernahme.
a) Erläutern Sie das Funktionsprinzip von Change Data Capture (CDC) über das Write-Ahead-Log (WAL) im Vergleich zu zyklischen Vollabfragen via SELECT mit Timestamp. b) Definieren Sie den Begriff 'Idempotenz' im Kontext von Datenpipelines und begründen Sie, warum Idempotenz im Fehlerfall essenziell ist.