Begriffe vorab
- Überwachtes Lernen: Lernen aus Beispielen mit bekannter richtiger Antwort.
- Zielgröße: der Wert, den das Modell vorhersagen soll.
- Hyperparameter: Einstellungen des Verfahrens, die man vor dem Training festlegt, etwa die Baumtiefe.
Lernen mit Lehrer
Beim überwachten Lernen (Supervised Learning) bekommt das Modell zu jedem Trainingsbeispiel die richtige Antwort (das Label) mitgeliefert. Es lernt eine Funktion, die von Eingaben auf diese Ausgaben abbildet, und wendet sie danach auf neue, unbeschriftete Beispiele an.
Zwei Grundaufgaben
- Regression: Die Ausgabe ist eine kontinuierliche Zahl, z. B. der vorhergesagte Hauspreis oder die Temperatur morgen. Klassisches Beispiel: die lineare Regression, die eine Gerade (oder Hyperebene) durch die Datenpunkte legt.
- Klassifikation: Die Ausgabe ist eine von mehreren Kategorien, z. B. „Spam“/„kein Spam“ oder eine von zehn Ziffern auf einem Bild. Klassische Verfahren sind die logistische Regression, Entscheidungsbäume, Random Forests und Support Vector Machines.
Wie das Training abläuft
Ein Algorithmus (häufig eine Variante des Gradientenabstiegs) passt die Modellparameter schrittweise so an, dass eine Verlustfunktion (Loss Function) minimiert wird – ein Maß dafür, wie stark die Vorhersagen von den echten Labels abweichen. Bei Regression ist das oft der mittlere quadratische Fehler, bei Klassifikation häufig die Kreuzentropie.
Typische Algorithmen im Überblick
- k-nächste Nachbarn (k-NN): sagt anhand der ähnlichsten bekannten Beispiele voraus, ohne ein explizites Modell zu „lernen“.
- Entscheidungsbäume: teilen die Daten anhand einer Folge von Ja/Nein-Fragen auf; leicht interpretierbar.
- Random Forest: kombiniert viele Entscheidungsbäume zu einem robusteren Gesamtmodell (Ensemble-Methode).
- Support Vector Machines (SVM): suchen die Trennlinie mit dem größten Abstand zu den Datenpunkten beider Klassen.
Ein Modell, das auf den Trainingsdaten perfekt abschneidet, aber auf Testdaten deutlich schlechter, hat wahrscheinlich die Trainingsdaten überangepasst (Overfitting, siehe die Lektion zu Evaluation) statt echte, verallgemeinerbare Muster gelernt.
Ein Beispiel für jede Aufgabe
Regression: Aus Wohnfläche, Lage und Baujahr soll der Mietpreis geschätzt werden. Das Ergebnis ist eine Zahl. Klassifikation: Aus Laborwerten soll eine Diagnosekategorie bestimmt werden. Das Ergebnis ist eine Klasse. Der Unterschied liegt allein in der Art der Zielgröße, nicht im Grundprinzip.
Wie man ein Verfahren wählt
Einfache Modelle wie die lineare oder logistische Regression sind schnell und gut erklärbar; sie eignen sich als Ausgangspunkt. Bäume und Random Forests kommen mit nichtlinearen Zusammenhängen zurecht und benötigen wenig Vorverarbeitung. Komplexere Modelle lohnen sich erst, wenn einfache nachweislich nicht reichen. Ein vernünftiger Ablauf: mit einem einfachen Modell beginnen, als Vergleichsmaßstab behalten und nur bei echtem Gewinn steigern.
Typische Fehler
- Merkmale verwenden, die erst nach dem Ereignis bekannt sind (Datenleck) – das Modell wirkt im Test hervorragend und versagt im Einsatz.
- Unausgewogene Klassen ignorieren.
- Nur auf einer einzigen Aufteilung der Daten bewerten.
Prüfstatus: Belegt (Stand 1. Oktober 2026): Jahreszahlen, Zahlen, Namen und Quellenangaben dieser Lektion, soweit die Quellenliste sie nennt, wurden gegen Primärquellen geprüft. Nicht einzeln belegt: erklärende Darstellung nach Lehrbuchstand und Quellen, die in der Liste als „allgemeine Referenz“ markiert sind.
Quellen
- Christopher M. Bishop – „Pattern Recognition and Machine Learning“ (Springer, 2006)
- Trevor Hastie, Robert Tibshirani, Jerome Friedman – „The Elements of Statistical Learning“ (2. Auflage, Springer)
- scikit-learn-Dokumentation – „Supervised learning“ (allgemeine Referenz, nicht Zeile für Zeile geprüft)