Machinaal leren

1. Machinaal leren

2. Opdracht 1 Deadline: Vandaag, om 12u!

3. Verwerven Waar zijn we nu? machinaal leren gesuperviseerd leren

4. Gesuperviseerd leren: classificatie oefenen classificatie-principes Voorbeelden Hoe goed hebben we geleerd? Nieuwe voorbeelden toetsen classificatie-principes

5. Classificatie: technieken • Begin met een model. • Herhaal. • Gegeven een voorbeeld pas het model aan. • Stop als • er geen voorbeelden meer zijn, of • het model inconsistent is. • versieruimtes • beslisbomen • statistische modellen • inductief leren • …

6. Bierdrinkerprobleem • De bierdrinker • proeft verschillende soorten pils • geeft aan of het hem smaakt • Doel: • geef een raad welk pilsje hem zal smaken (classificatieprincipe) • gegeven nieuwe pilssoorten voorspel of ze gaan smaken

7. Belgische pilssoorten

8. + - + - - - Het model dekt alle positieve voorbeelden en geen enkel negatief voorbeeld. Alle mogelijke situaties

9. Het model dekt alle positieve voorbeelden en geen enkel negatief voorbeeld. Alle mogelijke situaties + + + - - + - -

10. Meerdere modellen? Alle mogelijke situaties + + + - - + - -

11. + + + - - + - - Vlugge Vraag Allen de positieve voorbeelden zijn goed Alles behalve de negatieve voorbeelden is goed • Zijn dat goede modellen? • Ja • Nee

12. + - + + + - - + - - - + - - Wat verwachten we van een model? dekt de positieve voorbeelden dekt de negatieve voorbeelden niet kan positief/negatief goed voorspellen door een hypothese op te stellen

13. Hypotheseruimte • Vaste taal om modellen om te schrijven • Model is een hypothese in de ruimte • Forceert veralgemening • Vermijdt “nutteloze” modellen • Hypotheses kunnen mekaar veralgemenen of verfijnen

14. Hypotheseruimte > • Voor ieder attribuut: • Hypothese – verzameling voorbeelden: • Blonde 5% soorten [>,5%,Blond, >,>] • Stella [Stella Artois, 5%, Blond, Bitter, ja] • Speciale hypothese: ? … waarde 1 waarde n ?

15. Minimale veralgemening • [z1, …, zn] is een minimale veralgemening van [x1,…, xn] en [y1,…, yn] • voor ieder paar (xi, yi) vind zi zodanig dat • zi xi, zi  yi en • voor ieder z (z  xi, z  yi)  (z  zi) • Vanaf hier spreken we van veralgemening ipv minimale veralgemening

16. Vlugge Vraag > Gegeven hypotheseruimte voor ieder attribuut: Hoeveel > zijn er in de veralgemening van [4,9%, Goudgeel, Lichtbitter] en [5%, Goudgeel, Bitter] ? … waarde 1 waarde n ? • geen • één • twee • drie

17. “Find S” algoritme

18. [>, >,Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

19. Vlugge Vraag > • Andere hypotheseruimte • Positieve en negatieve voorbeelden Wat leert “Find S”? • informaticus • student student informaticus wiskundige Jan Marijke Geert ?

20. Problemen met “Find S” • Kan inconsistente situaties missen • Kan niet uitdrukbare situaties missen • Kan zich niet deterministisch gedragen • Kan verkeerde hypothese kiezen tov de negatieve voorbeelden student Jan Marijke Geert ?

21. Een betere oplossing… • Positieve en negatieve voorbeelden • Model: ({a1, …, an}, {s1, …, sm}) • deel van de hypotheseruimte • algemene hypothesen {a1, …, an} • specifieke hypothesen {s1, …, sm} • dekken alle hypothesen die • meer specifiek () zijn dan een zekere ai • meer algemeen () zijn dan een zekere sj

22. Vlugge Vraag > • Hoeveel hypothesen telt het model (>, {Marijke, Geert})? • 5 • 6 student informaticus wiskundige Jan Marijke Geert ?

23. Versieruimtes algoritme 1

24. [>, >, >, >, >] ?

25. [>, >, >, >, >] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

26. [>, >, >, >, >] [Jupiler, >, >, >, >] … [>, >, >, >, nee] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

27. [>, >, >, >, >] [>, >, >, >, nee] … [Jupiler, >, >, >, >] 5 biersoorten + 4 alcoholgehaltes + kleur + smaak + geen blik = 12 mogelijkheden [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

28. Maar… S tot nu toe: {[Jupiler, 5,2%, Blond, Lichtbitter, ja]}

29. Maar… S tot nu toe: {[Jupiler, 5,2%, Blond, Lichtbitter, ja]}

30. Versieruimtes algoritme 2 Verfijn alle A z.d. iedere nieuwe algemene hypothese is een veralgemening van een specifieke hypothese. Zoals voor de negatieve vb.

31. [>, >, >, >, >] [>, >, >, Lichtbitter, >] [Jupiler, >, >, >, >] [>, 5,2%, >, >, >] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

32. [>, >, >, >, >] [>, >, >, Lichtbitter, >] [>, 5,2%, >, >, >] [Jupiler, >, >, >, >] Dekken het nieuwe voorbeeld niet [>, >, Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

33. [>, >, >, >, >] [>, >, >, Lichtbitter, >] [>, >, Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

34. [>, >, >, >, >] Vlugge Vraag [>, >, >, Lichtbitter, >] ? • [>, >, Blond, Lichtbitter, >] • [>, >, Blond, >, ja] • [>, >, >, Lichtbitter, ja] [>, >, Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

35. [>, >, >, >, >] [>, >, Blond, Lichtbitter, >] [>, >, >, Lichtbitter, >] [>, >, Blond, Lichtbitter, ja] Hetzelfde hypothese! [>, >, Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] Blonde lichtbittere pilssoorten in blik! ?

36. Versieruimtes • Houdt rekening met pos en neg voorbeelden • Behandelt pos en neg op hetzelfde manier • Kan waarde voorspellen zelfs als het concept niet volledig geleerd is • Kan “het meest interessante voorbeeld” kiezen • Kan niet tegen ruis • Eist veel verschillende eigenschappen • Past niet als er meerdere klassen zijn

37. Waarde voorspellen als het concept niet volledig geleerd is [>, >, >, >, >] [>, >, Blond, Lichtbitter, >] [>, >, >, Lichtbitter, >] [>, >, Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] Wij weten al dat Bavik niet gaat smaken! ?

38. “Het meest interessante voorbeeld” kiezen [>, >, >, >, >] [>, >, >, Lichtbitter, >] [>, >, Blond, Lichtbitter, >] Voorbeeld = scheiding van hypotheses [>, >, >, Lichtbitter, ja] [>, >, Blond, Lichtbitter, ja] Interessante voorbeeld: ~50% vd hypotheses: “positief”, ~50% vd hypotheses: “negatief” [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

39. Vlugge Vraag A [>, >, >, >, >] [>, >, >, Lichtbitter, >] [>, >, Blond, Lichtbitter, >] Welke voorbeeld is beter: [>, >, >, Lichtbitter, ja] A B B of ? [>, >, Blond, Lichtbitter, ja] [Jupiler, 5,2%, Blond, Lichtbitter, ja] ?

40. Classificatie: technieken Wat is dat? Hoe bouw je zo’n boom? • versieruimtes • beslisbomen • statistische modellen • inductief leren • …

41. Beslisbomen voor classificatie kleur • Boom • knopen: eigenschappen • kanten: waarden • bladeren: klassen blond goudgeel amber bitterheid - - lichtbitter bitter verpakking - Voordeel: disjuncties! blik fles + -

42. ID3(Voorbeelden, Eigenschappen, Klassen) • Voorbeelden =  - Boom met één knop “Fail” • kKlassen  vVoorbeelden  klasse(v)=k - Boom met één knop k 3. Eigenschappen =  - Boom met één knop k, z.d. k het meest voorkomende klasse is in Voorbeelden 4. Anders, kies eEigenschappen - Waarden van e: w1, …, wn. - Splits Voorbeelden in V1, …, Vn z.d.  vVi  klasse(v) = wi - Boom met wortel: e kanten: w1, …, wn. subbomen: ID3(V1, Eigenschappen\{e}, Klassen),…, ID3(Vn,Eigenschappen\{e}, Klassen)

43. Vlugge Vraag Wat is de maximale diepte van een beslisboom gebouwd door ID3(Voorbeelden, Eigenschappen, Klassen)?

44. Kiezen van een eigenschap • Doel: zo ondiep mogelijke beslisboom • Keuze van e: • afhankelijk van Voorbeelden • moet ons zo veel mogelijk informatie opleveren • het is niet hetzelfde informatie als in {gegevens, informatie, kennis}

45. Informatietheorie in een notendop (1) • Zelfinformatie van een gebeurtenis • Entropie = verwachting van de zelfinformatie • Entropie van een verzameling = entropie tov kans dat een voorbeeld bij een klasse hoort Claude E. Shannon 1916-2001

46. Informatietheorie in een notendop (2) • Entropie van een verzameling, dus • Bereken H(Voorbeelden) • 10 voorbeelden • 2 klassen (5 en 5)

47. Vlugge Vraag Informatietheorie in een notendop • Informatiewinst op eigenschap e dieVoorbeelden in V1, …, Vn opsplitst Welke eigenschap geeft meer winst? A. Leeftijd B. SW/HW

48. Dus • Kies e z.d. Gain(Voorbeelden,e) het grootst is. leeftijd nieuwe oud mid winst verlies alt? nee ja winst verlies

49. Huiswerk 15 • ID3 kan verbeterd worden • Verbeterde versies heten C4.5 en C5.0 • Bespreek de optimalisaties van C4.5 en/of C5.0. • Geef een voorbeeld die de voordelen van C4.5/C5.0 tov ID3 aantoont. • In te leveren ten laatste op 5 juni 2007

50. Classificatie: technieken Lineaire modellen met kleinste kwadraten. k dichtstbijzijnde buren • versieruimtes • beslisbomen • statistische modellen • inductief leren • …