160 likes | 315 Views
Porovnávacia štúdia heuristických algoritmov pre generovanie Fuzzy rozhodovacích stromov. Šk. rok.:2008/2009 Gabriel Kateržabek. Úvod. Indukcia fuzzy rozhodovacích stromov Polynomiáln a – časová zložitosť Heuristické metódy.
E N D
Porovnávacia štúdia heuristických algoritmov pre generovanie Fuzzy rozhodovacích stromov Šk. rok.:2008/2009 Gabriel Kateržabek
Úvod • Indukcia fuzzy rozhodovacích stromov • Polynomiálna – časová zložitosť • Heuristické metódy
Rozhodovacie stromy • Rozhodovací strom verzus produkčné pravidlá • Generovanie báz znalostí, objavovanie znalostí 3. Štruktúra rozhodovacieho stromu • Uzly (triedy, testovacie atribúty, koreňový uzol) • Hrany (hodnoty testovacích atribútov)
Indukcia rozhodovacích stromov • Perfektný klasifikátor verzus postačujúci • Všeobecný postup generovania RS 1. Ak pre každý podpriestor je splnené ukončovacie kritérium, generovanie sa ukončí. 2. Inak 3. Zvolí sa podpriestor obsahujúci príklady klasifikované do viacerých tried 4. Pre zvolený podpriestor sa vyberie jeden testovací atribút, ešte nepoužitý pre daný podpriestor príkladov. 5. Zvolený podpriestor príkladov sa rozdelí na ďalšie podpriestory podľa hodnôt zvoleného testovacieho atribútu
Algoritmus fuzzy ID3 1. • Perfektný (všetky trénovacie príklady) • Rozmerovo optimálny (najmenej testovacích atribútov) • Shanonova entrópia (neurčitosť) • Snaha lokálne znižovať priemernú entrópiu fuzzy klasifikácie v každom kroku
Algoritmus fuzzy ID3 2. • Uvažuje sa nelistový uzol s atribútmi: A(1), ...A(n), pre kde A(k) obsahuje mk fuzzy podmnožín a pre hodnotu atribútu týkajúcej sa fuzzy j-tej triedy v uvažovanom nelistovom uzle S, uvažuje sa relatívna frekvencia Entrópia fuzzy klasifikácie je definovaná . A priemerná fuzzy entrópia je kde váhy wi sú Cieľom je nájsť atribút ktorého priemerná fuzzy entrópia je minimálna, to jest k-tý atribút kde
Yuan a Shaw´s Algoritmus • Hľadá atribút s najmenšou frekvenciou • Pri entrópii rovnej 0, maximum neurčitosti Pre nelistový uzol S je klasifikácia neurčitosti kde sa permutácia zostupne usporiadaná normalizuje . K-tý atribút je váhy wi sú obdobné. Algoritmus sa snaží nastaviť atribút ktorého priemerná klasifikovaná neurčitosť dosiahne minimum, to jest k-tý atribút kde
Algoritmus navrhnutý D. S. Yeung, X. Z.Wang, and E. C. C. Tsang 1 • Maximálny stupeň dôležitosti atribútu • Zväčšenie počtu listových uzlov • Vyššia výpočtová zložitosť • Odstraňuje nekonzistentné atribúty
Algoritmus navrhnutý D. S. Yeung, X. Z.Wang, and E. C. C. Tsang 2 • Nech hodnota i-tého príkladu vzhľadom na k-tý atribút je je hodnota i-tého príkladu vzhľadom na klasifikáciu . je fuzzy sada definovaná na SM je vybraná podobnosť porovnania kde je minimum a Pre lingvistického termu bude definovaný stupeň dôležitosti kde Priemerný stupeň dôležitosti atribútu A(k) je Tvrdenie1: miera podobnosti medzi hodnotami atribútov nahrádzajú porovnanie ekvivalencie Tvrdenie2: počet nekonzistentných príkladov sa stáva vágnym Tvrdenie3: funkcia vyjadruje stupeň nekonzistencie Heuristika vyberá také k0 pre ktoré
Podmienky testu 1 • Trénovacia fuzzy množina Obr1. Malá trénovacia množina s fuzzy reprezentáciou
Podmienky testu 2 • Univerzá atribútov
Výsledné vygenerované fuzzy rozhodovacie stromy z experimentu 1 Obr.2 Fuzzy rozhodovací strom s použitím heuristiky ID3 (alfa=0.4;beta=0.95) na trénovanie dát z tabuľky na Obr.1
Výsledné vygenerované fuzzy rozhodovacie stromy z experimentu 2 Obr.3 Fuzzy rozhodovací strom s použitím heuristiky Yuan a Shaw´s (alfa=0.4;beta=0.95) na trénovanie dát z tabuľky na Obr.1
Výsledné vygenerované fuzzy rozhodovacie stromy z experimentu 3 Obr.4 Fuzzy rozhodovací strom s použitím heuristiky podľa D. S. Yeung, X. Z.Wang, and E. C. C. Tsang(alfa=0.4;beta=0.95) [4] na trénovanie dát z tabuľky na Obr.1
Záver • V aplikovateľnosti : • V zložitosti : • V zrozumiteľnosti : • V presnosti učenia : • V zvládaní klasifikačnej neurčitosti : • V robustnosti : • Algoritmus prezentovaný D. S. Yeung, X. Z.Wang, and E. C. C. Tsang preukázal presnejšiu schopnosť učiť sa aj keď jeho výpočtová zložitosť je o niečo väčšia ako ostatné dve skúmané heuristiky • Možný ďalší výskum v oblasti simulovania živých systémov, progresívneho učenia umelých systémov • Vývoj strategických hier