Z ákladné princípy strojového učenia

1. Základné princípy strojového učenia Kristína Machová

2. OSNOVA: • Uvažované kognitívne algoritmy • Základné princípy kognitívnych algoritmov • Usporiadanie priestoru pojmov • Horolezecký princíp • Delenie priestoru príkladov na podpriestory • Riadenie výnimkami • Súťaživý princíp • Skórovacia funkcia • Redukcia počtu kandidátov • Návrh a výber algoritmu • Voľba základných princípov

4. Uvažované kognitívne algoritmy • VSS – Version space search (logické konjunkcie) • EGS – Exhaustive General to Specific (logické konjunkcie) • ESG – Exhaustive Specific to General (logické konjunkcie) • HGS – Heuristic General to Specific (logické konjunkcie) • HSG – Heuristic Specific to General (logické konjunkcie) • HCT – Heuristic criteria tables (prahové pojmy) • IWP – Iterative Weight Perturbation (prahové pojmy) • SOMA – SamoOrganizujúci sa Migračný algoritmus() • NCD – Nonincr. Induction of Competitive Disjunctions (etalóny) • ICD – Incr. Induction of Competitive Disjunctions (etalóny) • AQ11 – (disjunktívna normálna forma - DNS) • NSC – Non-incremental Separate and Conquer (DNS) • ID3 – Iterative Dichotomizer 3 (rozhodovacie stromy RS) • ID5R – Iterative Dichotomizer 5 Recursive (RS) • C4.5 – (rozhodovacie stromy) • MDLP – Minimum Description Lenght Principle (rozhodovacie stromy) • CN2 – (rozhodovacie zoznamy RZ) • NEX – Nonincremental Induction with Exclusions(RZ) • BSK – Bayes-ovský klasifikátor (pravdepodobnostné pojmy)

5. hgs(PSET,NSET,CLOSED-SET,HSET) nech OPEN-SET={} for každý pojem H v HSET nech SPECS sú všetky jedno-podmienkové špecifikácie H, nech NEWSET={} for každý špecifikovaný pojem S v SPECS ifScore (S,PSET,NSET)>Score (H,PSET,NSET) then pridaj S do NEWSET if NEW-SET={} then pridaj H do CLOSED-SET elsefor každý pojem S v NEW-SET pridaj S do OPEN-SET for každý pojem C v CLOSED-SET ifS je aspoň tak špecifický ako C then ifScore (C,PSET,NSET)>Score (S,PSET,NSET) then vymaž S z OPEN-SET else vymaž C z CLOSED-SET if OPEN-SET={} then vráť člena s najvyšším skóre v CLOSED-SET else nech BEST-SET je Beam-Size počet najvyššie skórovaných členov zjednotenia OPEN-SET a CLOSED-SET nech CLOSED-SET je množina členov CLOSED-SET v BEST-SET nech OPEN-SET je množina členov OPEN-SET v BEST-SET hgs (PSET,NSET,CLOSED-SET,OPEN-SET).

6. hct(PSET,NSET,ATTS) nech etalón E je množinou najfrekventovanejších hodnôt v PSET pre každý z atribútov v ATTS nech inicializačná prahová hodnota T = veľkosť ATTS (počet atribútov) nech inicializačná množina hypotéz HSET={[T_z_E]} htc-aux(PSET,NSET,E,{},HSET) htc-aux(PSET,NSET,E,CLOSED-SET,HSET) nech OPEN-SET={} for každý pojem H v HSET nech SPECS je najšpecifickejšie zovšeobecnenie(H,E) nech NEWSET={} for každý špecifikovaný pojem S v SPECS ifScore (S,PSET,NSET)>Score (H,PSET,NSET) then pridaj S do NEWSET if NEW-SET={} then pridaj H do CLOSED-SET elsefor každý pojem S v NEW-SET pridaj S do OPEN-SET if OPEN-SET={} then vráť člena s najvyšším skóre v CLOSED-SET elsenech BEST-SET je Beam-Size počet najvyššie skórovaných členov zjednotenia OPEN-SET a CLOSED-SET nech CLOSED-SET je množina členov CLOSED-SET v BEST-SET nech OPEN-SET je množina členov OPEN-SET v BEST-SET hct-aux(PSET,NSET,E,CLOSED-SET,OPEN-SET)

7. Základné princípy kognitívnych algoritmov • P1 - usporiadanie priestoru pojmov • P2 - horolezecký princíp • P3 - delenie priestoru príkladov na podpriestory • P4 - riadenie výnimkami • P5 - súťaživý princíp • P6 - skórovacia funkcia • P7 - redukcia počtu kandidátov

8. základné princípy charakteristické princípy dodatkové princípy P1 P6 P5 P2 P4 P7 P3

9. Usporiadanie priestoru pojmov • Prehľadávanie priestoru všetkých kandidátov pojmov. • Priestor pojmov je usporiadaný (napr. podľa všeobecnosti). • Nutnosť definovať operátory pre pohyb v priestore pojmov (napr. operátorov špecifikácie/zovšeobecnenia). • Prehľadávame od všeobecného k špecifickému (G-S), od špecifického k všeobecnému (S-G), resp. obidvoma smermi. • Princíp využívajú algoritmy: VSS, EGS a ESG.

10. Horolezecký princíp • Prehľadávacia stratégia založená na gradientnom hľadaní extrému v lokálnom okolí aktuálneho riešenia. • Extrém – najsľubnejšie riešenie je možné merať skórovacou funkciou. • V rýchlo nájdenom lokálnom extréme často uviazne (dotiahnutie extrému nájdeného inou metódou). • Princíp využívajú algoritmy: IWP, SADE a SOMA.

11. Delenie priestoru príkladovna pod priestory • Priestor príkladov sa rekurzívne delí na pod priestory, kým nie je splnená ukončovacia podmienka (napr. v každom pod priestore sú iba príklady jednej triedy). • Podmienka delenia (testovací atribút) sa vyberá pomocou informačnej teórie (napr. minimálna entrópia). • Princíp využívajú algoritmy: NSC, AQ11, ID3, ID5R, C4.5 a MDPL.

12. Riadenie výnimkami • Pre chybne klasifikované príklady - výnimky sa vytvoria nové triedy (pseudotriedy). • Tento proces sa opakuje, kým nie sú všetky príklady správne klasifikované (nové iterácie neprinášajú lepšie výsledky, maximálny počet iterácií). • Princíp využívajú algoritmy: NCD, ICD a NEX.

13. Súťaživý princíp • Kandidáti pojmov sa ohodnotia pomocou zvolenej hodnotiacej funkcie a vyberie sa najlepšie ohodnotený pojem. • Príklad hodnotiacej funkcie – pravdepodobnosť triedy podmienená hodnotami atribútov klasifikovaného príkladu. • Príklad hodnotiacej funkcie –vzdialenosť (Euklidova) klasifikovaného príkladu od typických reprezentantov jednotlivých tried. • Princíp využívajú algoritmy: NCD, ICD a Bayes-ovský klasifikátor.

14. Skórovacia funkcia • Umožňuje vytvárať systémy s prehľadávacími preferenciami (search bias), ktorý bude pojmy lepšie ohodnotené skórovacou funkciou uvažovať skôr. • Vo všeobecnosti je skóre priamo úmerne závislé na počte pokrytých pozitívnych príkladov a nepriamo úmerne závislé na počte pokrytých negatívnych príkladov. • Zložitejšie prístupy používajú štatistické alebo informačné miery (entrópia, signifikancia). • Princíp využívajú algoritmy: HGS, HSG, HCT, ID3, ID5R, C4.5 a CN2.

15. Redukcia počtu kandidátov • V každej iterácii algoritmu sa obmedzí počet pojmov na určitý počet (Beam Size – BS). • Z kandidátov pojmov usporiadaných podľa hodnôt skórovacej funkcie sa vyberie iba BS najsľubnejších pojmov. • Horolezecký princíp je špeciálnym prípadom prípadom pri BS=1. • Tvrdé preferencie (Hard Bias) – niektoré typy pojmov sú vopred vylúčené z prehľadávania. • Mäkká zaujatosť (Soft Bias) – pojmy s vyšším skóre majú prednosť. • Princíp využívajú algoritmy: HGS, HSG a HCT.

16. P2 P1 IWP SADE EGS VSS SOMA HGS P6 HGS ID3 HSG ID5R P7 HCT NSC C4.5 MDPL AQ11 CN2 P3 P4 NCD NEX P5 ICD

17. Návrh respektíve výber algoritmu • Analýza problému resp. kognitívnej úlohy. • Na základe analýzy, voľba základných princípov vyhovujúcich danej úlohe. • Návrh všeobecného algoritmu kombinujúceho zvolené základné princípy.

18. Voľba základných princípov • Ak je veľký rozsah trénovacích údajov, široký priestor pojmov alebo zašumené trénovacie údaje a nemusíme trvať na optimálnom riešení, potom je vhodná kombinácia princípov P1 & P6 & P7. • Pre úlohu charakteristickú veľkým rozptylom príkladov jednej triedy medzi príklady ostatných tried je vhodný princíp P3 & P1 alebo P4. • Ak je priestor pojmov lineárne separabilný, potom môžeme použiť P2. • Keď sú trénovacie údaje kontradičné (klasifikácia dokumentov) je vhodné použitie princípu P5.

19. Príklady použitia • Klasifikácia podozrivej bankovej operácie - veľké množstvo trénovacích údajov z niekoľkých bánk: P1 & P6& P7. • Diagnostika zriedkavých diagnóz špecializovanej oblasti medicíny – málo početná trénovacia množina a veľký rozptyl príkladov jednej triedy medzi príklady ostatných tried: P3 a v jednotlivých podpriestoroch P1 alebo P4 (P4 formuje pre výnimky pseudotriedu – novú chorobu spôsobenú zmutovaným vírusom).

20. Ďakujem za pozornosť