IHK AP2 Fachinformatiker Daten- und Prozessanalyse

LF 10: Datenquellen, Formate & Datenqualität (ISO 25012)

CSV, JSON, XML, Parquet, Data Profiling & Qualitätsmetriken

📚 Fachwissen & IHK-Prüfungsrelevanz

Daten liegen in Unternehmen in hochgradig heterogenen Quellen vor. Vor jeder Analyse steht die Prüfung der Datenqualität nach anerkannten Standards.

1. Datenstrukturen & Dateiformate

Strukturiert: Relationale Datenbanken (SQL), Tabellen mit festem Schema und Typisierung.
Semi-strukturiert: JSON, XML, YAML. Enthalten hierarchische Tags/Schlüssel, aber kein zwingend starres Schema.
Spaltenorientiert (Columnar): Apache Parquet, ORC. Werte derselben Spalte werden zusammenhängend abgelegt. Extrem schnell für analytische Aggregationen (OLAP) und hochgradig komprimierbar (Snappy, Gzip).
Unstrukturiert: Fließtexte, PDF-Rechnungen, Audioaufnahmen, Videostreams.

2. Datenqualitätsmerkmale nach DIN ISO/IEC 25012

Qualitätsmerkmal	Beschreibung	Typischer Fehlerfall
Genauigkeit (Accuracy)	Werte spiegeln die Realität korrekt wider (syntaktisch & semantisch).	Tippfehler im Straßennamen, unplausibles Geburtsdatum (z.B. 1850).
Vollständigkeit (Completeness)	Alle geforderten Pflichtdaten und Datensätze sind vorhanden.	Null-Werte in Pflichtfeldern, fehlende Tage in Zeitreihen.
Konsistenz (Consistency)	Werte widersprechen sich weder innerhalb noch zwischen Tabellen.	Kunde hat unterschiedliche Anschriften in CRM und ERP.
Aktualität (Currentness)	Daten spiegeln den gegenwärtigen Zustand zeitnah wider.	Veraltete Bonitätsbewertung oder alte Steuersätze.
Eindeutigkeit (Uniqueness)	Keine unerwünschten Dubletten.	Derselbe Kunde existiert mehrfach mit variierender Schreibweise.

📝 Original-Prüfungsaufgaben (ZPA Nord-West)

Datenqualität nach ISO 8000 8 Punkte

Für eine KI-gestützte Kundenanalyse sollen CRM-, ERP- und Webshop-Daten zusammengeführt werden.

Nennen und erläutern Sie 4 wesentliche Dimensionen der Datenqualität nach ISO 8000 / DAMA DMBOK. Beschreiben Sie typische Methoden des Data Cleaning (Datenbereinigung).

💡 Offizieller IHK-Erwartungshorizont & Punkteverteilung

Datenformate & Datenqualität: Parquet vs. JSON & ISO 25012 10 Punkte

Ein Logistikunternehmen speichert täglich 80 Millionen Sensordaten aus Frachtcontainern. Derzeit liegen die Daten als unkomprimierte JSON-Dateien vor. Die analytischen Abfragen auf Zeitreihen dauern mehrere Stunden.

a) Erläutern Sie das Speicherprinzip von Apache Parquet (spaltenorientiert) im Vergleich zu zeilenbasierten JSON-Dateien. b) Nennen Sie zwei konkrete Vorteile, die sich bei analytischen Aggregationsabfragen (z.B. Durchschnittstemperatur pro Monat) durch Parquet ergeben. c) Nennen und erläutern Sie zwei Merkmale der Datenqualität nach DIN ISO/IEC 25012, die bei Sensordaten vor der Persistierung geprüft werden müssen.

💡 Offizieller IHK-Erwartungshorizont & Punkteverteilung

a) JSON ist zeilenorientiert (Row-oriented); Parquet ist spaltenorientiert (Column-oriented), d.h. Werte derselben Spalte werden zusammenhängend auf der Festplatte gespeichert. b) 1. Column Pruning: Es müssen nur die Spalten von der Festplatte gelesen werden, die in der Abfrage benötigt werden (drastische Reduktion der I/O-Last). 2. Hohe Kompressionsrate: Da homogene Datentypen hintereinander liegen, greifen Algorithmen wie Snappy oder Dictionary Encoding extrem effizient. c) 1. Genauigkeit (Accuracy): Sensormesswerte dürfen keine Messfehler oder unphysikalischen Ausreißer aufweisen. 2. Vollständigkeit (Completeness): Es dürfen keine Zeitintervalle oder Funkabrisse unbemerkt fehlen.