IHK AP2 Fachinformatiker Daten- und Prozessanalyse

LF 11: Machine Learning & Modell-Evaluation

Supervised/Unsupervised Learning, Confusion Matrix, Precision, Recall, F1-Score & ROC-AUC

📚 Fachwissen & IHK-Prüfungsrelevanz

Im Prüfungsbereich 1 werden Fachinformatiker für Daten- und Prozessanalyse regelmäßig zur Evaluation von Klassifikations- und Regressionsmodellen geprüft.

1. Die Lernparadigmen

Supervised Learning (Überwacht): Trainingsdaten enthalten Zielwerte (Labels). Aufgaben: Klassifikation (diskrete Klassen, z.B. Spam/Non-Spam) und Regression (stetige Werte, z.B. Immobilienpreise).
Unsupervised Learning (Unüberwacht): Keine Labels vorhanden. Ziel: Auffinden verborgener Muster, Gruppierungen (Clustering via k-Means, DBSCAN) oder Dimensionsreduktion (PCA).
Reinforcement Learning (Bestärkend): Ein Agent lernt durch Interaktion mit einer Umgebung über Belohnungen und Strafen.

2. Die Konfusionsmatrix (Confusion Matrix)

Reale Klasse \ Vorhersage	Vorhergesagt: Positiv	Vorhergesagt: Negativ
Tatsächlich: Positiv	True Positive (TP)	False Negative (FN) - Typ II
Tatsächlich: Negativ	False Positive (FP) - Typ I	True Negative (TN)

3. Bewertungskennzahlen nach IHK-Formel

Accuracy: (TP + TN) / (TP + FP + FN + TN) (Achtung: irreführend bei unbalancierten Datensätzen wie Betrug oder Krebsdiagnosen!).
Precision: TP / (TP + FP) (Wie verlässlich sind positive Alarme?).
Recall (Sensitivität): TP / (TP + FN) (Wie viele der tatsächlichen Treffer wurden entdeckt?).
F1-Score: Harmonisches Mittel aus Precision und Recall: 2 × (Precision × Recall) / (Precision + Recall).

📝 Original-Prüfungsaufgaben (ZPA Nord-West)

Machine Learning Evaluation Confusion Matrix 8 Punkte

Ein Machine-Learning-Modell soll betrügerische Kreditkartentransaktionen (Fraud) automatisiert klassifizieren.

Erläutern Sie die 4 Felder einer Confusion Matrix (TP, FP, TN, FN). Definieren Sie die Kennzahlen Precision (Genauigkeit), Recall (Trefferquote/Sensitivität) und F1-Score. Warum ist die reine Accuracy (Genauigkeit) bei unausgeglichenen Datensätzen irreführend?

💡 Offizieller IHK-Erwartungshorizont & Punkteverteilung

Machine Learning: Confusion Matrix & Kennzahlen (Precision, Recall) 10 Punkte

Ein Machine-Learning-Modell soll betrügerische Kreditkartentransaktionen (Fraud) erkennen. Ein Testdatensatz von 1.000 Transaktionen liefert folgende Konfusionsmatrix: True Positive (TP) = 80, False Positive (FP) = 20, False Negative (FN) = 10, True Negative (TN) = 890.

a) Berechnen Sie die Accuracy (Treffgenauigkeit) des Modells in Prozent. b) Berechnen Sie die Precision (Präzision) und den Recall (Sensitivität / Trefferquote). c) Begründen Sie, warum bei Betrugserkennung der Recall in der Regel wichtiger ist als die Precision.

💡 Offizieller IHK-Erwartungshorizont & Punkteverteilung

a) Accuracy = (TP + TN) / Gesamt = (80 + 890) / 1000 = 970 / 1000 = 97,0 %. b) Precision = TP / (TP + FP) = 80 / (80 + 20) = 80 / 100 = 80,0 %. Recall = TP / (TP + FN) = 80 / (80 + 10) = 80 / 90 = 88,89 %. c) Ein unentdeckter Betrugsfall (False Negative) verursacht direkten finanziellen Schaden und rechtliche Risiken. Ein Fehlalarm (False Positive) führt hingegen meist nur zu einer kurzen manuellen Nachprüfung oder SMS-Bestätigung. Daher muss FN minimiert und somit der Recall maximiert werden.