Maschinelles Lernen

1. Maschinelles Lernen Präsenzübung

2. Übung 1: Binäre Klassifikation Die Entscheidungsregel eines binären Klassifikators (Klassen ω1 und ω2) sei durch eine Entscheidungsschwelle d gegeben: • Wie lautet die Formel für das erwartete (Gesamt)Risiko dieses Klassifikators, gegeben eine Lossfunktion λ ? Wie ist diese Formel für den Spezialfall λ=0-1-Loss zu interpretieren? • Fixiere λ=0-1-Loss. Zeige, dass für ein d, welches das Risiko minimiert, gilt: • Zeichne ein Beispiel für Fall b). Ist das Kriterium in b) hinreichend? Konstruiere aus deinem Beispiel ein einfaches Gegenbeispiel.

3. Übung 1: Binäre Klassifikation Die Längen von Seebarsch (ω1) und Lachs (ω2) seien Cauchy-verteilt. • Die Lossfunktion sei 0-1 Loss. • Die maximale akzeptable Fehlerrate für die Fehlklassifikation eines Seebarsches als Lachs sei e1. Bestimme das optimale Klassifikationsverfahren, welches diese Bedingung erfüllt. • Wie groß ist für dieses Verfahren die Fehlklassifikationsrate von Lachs, e2? • Wie groß ist das erwartete Risiko dieses Klassifikators für a1= -1,a2=1, b=1, p(L)=P(B), e1=0.5? Die kummulative Verteilungsfunktion der Cauchy-Verteilung ist

4. Einschub: Wie vergleicht man die Güte von Merkmalen? Wahrscheinlich-keitsdichte „gutes“ Merkmal Stastistik Gruppe 1 Statistik Gruppe 2 0 Wahrscheinlich-keitsdichte „schlechtes“Merkmal 0

5. Einschub: Wie vergleicht man die Güte von Merkmalen? True Negatives True Positives False Negatives False Positives Schranke

6. Einschub: Wie vergleicht man die Güte von Merkmalen?

7. 1 Sensitivität 0 1 1-Spezifität 1 Sensitivität 0 1 1-Spezifität Einschub: Wie vergleicht man die Güte von Merkmalen? Operating Point besser Schranke

8. Einschub: Wie vergleicht man die Güte von Merkmalen? 1 Sensitivität 0 1 1-Spezifität 1 Sensitivität 0 1 1-Spezifität Schranke

9. Einschub: Wie vergleicht man die Güte von Merkmalen? 1 Sensitivität 0 1 1-Spezifität 1 Sensitivität 0 1 1-Spezifität Schranke

10. Receiver Operating Characteristic (ROC) ROC Kurve 1 gut Sensitivität 0 1 1-Spezifität ROC Kurve 1 schlecht Sensitivität 0 1 1-Spezifität

11. Receiver Operating Characteristic (ROC) Beispiele von ROC-Kurven

12. AUC Area under Curve (AUC), partial Area under Curve (pAUC) Beispiele von ROC-Kurven

13. pAUC (0.7) Area under Curve (AUC), partial Area under Curve (pAUC) Beispiele von ROC-Kurven Spez = 0.7

14. Übung 2: ROC-Kurven / Positiver Prädiktiver Wert In einem binären Klassifikationsproblem (Klassen ω1 und ω2) sei die Verteilung eines Merkmals in Klasse ω1 uniform auf [0,1], die entsprechende Verteilung in Klasse ω2 sei uniform auf [0,b] für ein b ∊ [0,1]. a) Berechne den Operating Point eines entscheidungsschwellenbasierten Klassifikators mit Schwelle d (Entscheidung für Klasse ω2, falls beobachtetes Merkmal < d , ansonsten Entscheidung für Klasse ω1). b) Berechne und zeichne die ROC-Kurve für verschiedene Merkmale (verschiedene b). Für welche b ist eine gute Klassifikation möglich?

15. Übung 2: ROC-Kurven / Positiver Prädiktiver Wert Ein ein statistischer Test auf Zugehörigkeit zu Klasse ω1 soll zur Konstruktion eines Klassifikators verwendet werden. Der Test gibt für ein beobachtetes Merkmal x einen p-Wert ∊ [0,1] zurück. Dieser stammt aus einer uniformen Verteilung, wenn die Beobachtung aus ω1 stammt. Im gegenteiligen Fall ist die Verteilung der p-Werte eine linksgipflige Betaverteilung. Wir wenden den entscheidungsschwellenbasierten Klassifikator aus a) auf die p-Werte an. Es seien n Beobachtungen gemacht worden, deren Klassenzugehörigkeit unbekannt ist. Die a priori Wahrscheinlichkeiten P(ωj) sowie die Parameter der Betaverteilung seien unbekannt. • Zeichne für verschiedene Betaverteilungen und verschiedene Priors die Verteilung der beobachteten p-Werte. • Denke dir ein Verfahren zur Schätzung der Prior aus • Wie würdest du nun die Parameter der Betaverteilung schätzen? • Zu gegebener Schwelle p0 kann dann der positive prädiktive Wert (PPV) abgeschätzt werden. Wie?