1 / 33

Maschinelles Lernen und automatische Textklassifikation

Maschinelles Lernen und automatische Textklassifikation. Lernen von Konzepten. Konzepte. Was ist ein Konzept? Eigenschaft, Tatsache, ... die auf ein bestimmtes Objekt zutrifft oder nicht C(x) = {0,1} Binäre Klassifikation. Beispiel: SportTreiben. SportTreiben.

presley
Download Presentation

Maschinelles Lernen und automatische Textklassifikation

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Maschinelles Lernen und automatische Textklassifikation Lernen von Konzepten

  2. Konzepte • Was ist ein Konzept? • Eigenschaft, Tatsache, ... die auf ein bestimmtes Objekt zutrifft oder nicht • C(x) = {0,1} • Binäre Klassifikation

  3. Beispiel: SportTreiben

  4. SportTreiben • Repräsentation: betrachte Vektor der Wettereigenschaften, SportTreiben wird durch +/- angezeigt: • <himmel,temperatur,feuchtigk,wind,wasser,vorhersage>,{+,-}

  5. SportTreiben: Repräsentation • Hypothese h: • Konjunktion von Constraints Ci auf Attributen • Ci kann sein: • Spezieller Wert: Wasser = warm • Egal: Wasser = ? • Kein Wert erlaubt: Wasser = Ø • Beispiel: <sonnig,?,?,stark,?,stabil>

  6. Typisches Lernen von Konzepten • Gegeben: • Instanzen X = mögliche Tage, die durch die Wetterattribute beschrieben sind • Zielfunktion c: SportTreiben : X -> {0,1} • Hypothesen H: Konjunktionen von Literalen, z.B. <?,kalt,hoch,?,?,?> • Trainingsbeispiele T: positive und negative Beispiele für die Zielfunktion: <x1,c(x1)>, ..., <xn,c(xn)> • Gesucht: • Hypothese h in H, so dass h(x) = c(x) für alle x in T

  7. Grundannahme • Hypothese des induktiven Lernens • „Jede Hypothese, die die Zielfunktion auf einer hinreichenden Menge von Trainingsbeispielen approximiert, wird die Zielfunktion auch für neue Instanzen approximieren.“

  8. Vergleich von Hypothesen • Betrachte Instanzen: • X1 = <sonnig,warm,hoch,stark,kalt,stabil> • X2 = <sonnig,warm,hoch,leicht,warm,stabil> • Und Hypothesen • h1= <sonnig,?,?,stark,?,?> • h2 = <sonnig,?,?,?,?,?> • h3 = <sonnig,?,?,?,kalt,?>

  9. Allgemein - spezifisch • Def.: Seien hi und hk Hypothesen aus H, hj ist allgemeiner-oder-gleich zu hk (hj≥g hk) gdw für jedes x aus X gilt: hk(x) = 1 => hj(x) = 1

  10. Simpler Lern-Algorithmus: Find-S • Grundidee: • Gehe von sehr spezifischer Hypothese aus, und „verallgemeinere“ diese sukzessive für jedes Trainingsbeispiel.

  11. Simpler Lern-Algorithmus: Find-S • Wähle die spezifischste Hypothese h aus H • Für jede positive Trainingsinstanz x • Für jeden Attribut-Constraint ai in h: • wenn ai wird in h von x erfüllt, • Dann weiter, • sonst ersetze ai in h durch den nächst allgemeineren Constraint, der von x erfüllt wird • Ergebnis: Hypothese h

  12. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>,

  13. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+

  14. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil>

  15. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+

  16. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil>

  17. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,-

  18. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,- • h3 = <sonnig,warm,?,stark,warm,stabil>

  19. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,- • h3 = <sonnig,warm,?,stark,warm,stabil> • x4 = <sonnig,warm,hoch,stark,kühl,wechselhaft>,+

  20. Beispielanwendung von Find-S • h0 = <Ø, Ø, Ø, Ø, Ø, Ø, Ø,>, • x1 = <sonnig,warm,normal,stark,warm,stabil>,+ • h1 = <sonnig,warm,normal,stark,warm,stabil> • x2 = <sonnig,warm,hoch,stark,warm,stabil>,+ • h2 = <sonnig,warm,?,stark,warm,stabil> • x3 = <regen,kalt,hoch,stark,warm,wechselhaft>,- • h3 = <sonnig,warm,?,stark,warm,stabil> • x4 = <sonnig,warm,hoch,stark,kühl,wechselhaft>,+ • h4 = <sonnig,warm,?,stark,?,?>

  21. Bewertung Find-S • Kein Feedback, wann das Konzept tatsächlich gelernt wurde • Kein Feedback bei inkonsistentem Input (konvergiert nicht notwendig!) • Keine Toleranz gegenüber fehlerhaftem Input • Ergebnis ist immer die/eine maximal spezifische Hypothese, keine Beschreibung aller korrekten Hypothesen • Starke Abhängigkeit von H

  22. Versions-Räume • Def.: Eine Hypothese h ist konsistent mit einer Trainingsmenge T für ein Zielkonzept c, gdw. für jede Instanz <x,c(x)> in T: h(x) = c(x) • Def.: der Versions-RaumVSH,T in Bezug auf eine Hypothesen-Menge H und eine Trainingsmenge T ist die maximale Teilmenge von H, die mit allen Instanzen in T konsistent ist.

  23. „List-then-eliminate“-Algorithmus • Ziel: schränke den Versionsraum sukzessive ein • Vorgehen: • 1. Versions-Raum VSH,T = Menge aller Hypothesen • 2. für jede Instanz <x,c(x)> der Trainigsmenge T, eliminiere aus VSH,T diejenigen h aus H für die h(x) ≠ c(x) • 3. Ergebnis ist die Liste VSH,T

  24. Repräsentation des Versions-Raums • Idee: repräsentiere den VS durch obere und untere Schranken bzgl. Der allgemeiner-oder-gleich Relation

  25. Repräsentation des Versions-Raums • Def.: Die allgemeine Schranke G des Versions-Raums VSH,T ist die Menge seiner maximal allgemeinen Elemente (bzgl ≤g). • Def.: Die spezifische Schranke S des Versions-Raums VSH,T ist die Menge seiner maximal spezifischen Elemente (bzgl ≤g). • Jedes Element des Versions-Raums liegt zwischen diesen Schranken: • VSH,T = {hH| s  S und g  G: g ≥ h ≥ s}

  26. „Candidate Elimination“ Algorithmus • Idee: statt VSH,T komplett zu durchlaufen, modifiziere in jedem Schrit S und G • Setze: • G = Menge der maximal allgemeinen Hypothesen in H • S = Menge der maximal spezifischen Hypothesen in H • Für jedes positive Trainingsbeispiel t: • Entferne alle mit t inkonsistenten Hypothesen aus G • Für jede Hypothese s in S, die nicht konsistent mit t ist: • Entferne s aus S • Füge alle minimalen Generalisierungen h von s hinzu, so dass • h ist konsistent mit t • Es gibt in G ein allgemeineres Element als h • Entferne alle Hypothesen aus S, die allgemeiner als andere Hypothesen in S sind

  27. „Candidate Elimination“ Algorithmus • Für jedes negative Trainingsbeispiel t: • Entferne alle mit t inkonsistenten Hypothesen aus S • Für jede Hypothese g in G, die nicht konsistent mit t ist: • Entferne g aus G • Füge alle minimalen Spezialisierungen h von g hinzu, so dass • h ist konsistent mit t • Es gibt in S ein spezifischeres Element als h • Entferne alle Hypothesen aus G, die spezifischer als andere Hypothesen in G sind

  28. Was heißt Lernen? • Gegeben: • <sonnig,warm,normal,stark,kalt,wechselhaft>,+ • <sonnig,warm,normal,leicht,warm,stabil>,+ • Frage: • <sonnig,warm,normal,stark, warm,stabil>,?

  29. Was heißt Lernen? • Gegeben: • <sonnig,warm,normal,stark,kalt,wechselhaft>,+ • <sonnig,warm,normal,leicht,warm,stabil>,+ • Vorschlag: • <sonnig,warm,normal,stark, warm,stabil>,+ • Warum?

  30. Was heißt Lernen? • Gegeben: • <sonnig,warm,normal,stark,kalt,wechselhaft>,+ • <sonnig,warm,normal,leicht,warm,stabil>,+ • Vorschlag: • <sonnig,warm,normal,stark, warm,stabil>,+ • Wegen: • <sonnig,warm,normal,?,?,?>

  31. Grundannahmen • Hypothesen sind Konjunktionen von Constraints • Ohne Einschränkung: Hypothesen sind Disjunktionen, Konjunktionen oder Negationen über der Potenzmenge von X: • <sonnig,warm,normal,?,?,?>  <?,?,?,?,?,wecheselhaft> • Alternative Grundannahme: • klassifiziere x gdw. wenn x in T

  32. Zusammenfassung • Lernen von Konzepten = Durchsuchen von Hypothesen • Hypothesen lassen sich nach Spezifizität bzw. Allgemeinheit anordnen • Versions-Raum = Menge der mit T konsistenten Hypothesen • Versions-Raum lässt sich charakterisieren durch obere und untere Schranken • Induktionsschritte nur möglich durch Zusatzannahmen bzgl H

  33. Aufgaben • Wie groß ist der Hypothesenraum für das Lernbeispiel? • Prinzipiell gibt es mehr mögliche Funktionen, die die Zielfunktion approximieren können als H! Welche? • Was besagt die Annahme einer Konjunktion von Constraints? • Was ist die Konsequenz für die beschriebenen Verfahren ? • Was passiert, wenn man diese Annahme nicht macht? Wie groß ist dann der Hypothesen-Raum? • Wie sehen S und G in diesem Fall aus?

More Related