Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa

1. Lokaalit uskottavuusmenetelmät ja kernelit luokittelussa 6.5-6.6 ja 6.9

2. Sisältö Lokaalit uskottavuusmenetelmät Kernel - tiheysestimaatit ja luokittelu Laskennallisia huomioita Yhteenveto Kotitehtävä

3. Lokaalit uskottavuusmenetelmät

4. Lokaalit uskottavuusmenetelmät Mikä tahansa parametrinen malli voidaan tehdä lokaaliksi, jos sovituksessa käytetty menetelmä hyödyntää havaintopainoja.

5. Esimerkki (1/2) • Kaikkiin havaintoihin yi voidaan liittää parametri θi=xiTβ • Päättely havainoista xi ja β pohjautuu logaritmiseen uskottavuusfunktioon

6. Esimerkki jatkuu (2/2) • Parametria Θ(X) voidaa mallintaa joustavammin käyttämällä lokaalia uskottavuutta. Θ(x0) =x0Tβ(x0)

7. Havainnollinen esimerkki? (1/3) Lokaali versio luokittelijasta, joka perustuu lineaariseen logistiseen regressioon (4.36) Aineisto koostuu syötteistä xi ja luokittelevista vasteista giϵ{1,2,...,J}. Lineaarinen malli on muodoltaan

8. Havainnollinen esimerkki (2/3) Lokaali logaritminen-uskottavuusfunktio voidaan kirjoittaa muotoon Missä βJ0=0 ja βJ=0

9. Havainnollinen esimerkki (3/3) Lokaalit regressiot ovat keskitetty x0, joten sovitetut posteriori-todennäköisyydet ovat pisteessä x0

11. Kernel- tiheysestimaattit ja luokittelu

12. Kernel - tiheysestimoiti • On ohjaamattoman oppimisen menetelmä. • Mahdollistaa joukon yksinkertaisia menetelmiä parametrittomaan luokitteluun.

13. Estimaattorit (1/2) Oletaan satunnaisotos x1,...,xN, joka on arvottu jakaumasta fX(x) ja halutaan estimoida fX pisteessä x0. XϵR Luonnollinen lokaali estimaattori on muotoa Missä N(x0) on pieni metrinen ympäristö x0 ympärillä leveydellä λ.

14. Estimaattorit (2/2) Luonnollinen lokaali estimaatti on kuoppainen ja näin ollen Parzen estimaatti on suositumpi. Koska havainnot x0 ympäristössä huomioidaan painoin, jotka vähenevät etäisyyden pisteestä x0 kasvaessa.

15. Luokittelu perustuen kernel - tiheysestimaatteihin Luokittelu voidaa toteuttaa suoraviivaisesti käyttämällä Bayesin teoriaa. Oletetaan J:n luokan luokitteluongelma. Sovitetaan parametrisoimattomat tiheysestimaatit fj(X) erikseen jokaiselle luokalle ja estimoidaan luokka priorit πj (usein luokkaosuudet)

16. Luokittelu Posteriori todennäköisyys saa muodon

17. Havainnollistava kuva

18. Naiivi Bayes luokittelija Sopiva, kun syöteavaruuden dimensio p on suuri. Naiivi Bayes olettaa, että luokalle G=j syöte -avuruuden Xk ovat riippumattomia. (Ei yleensä totta)

19. Naiivi Bayes ja yleistetty additiivinen malli Logit-muunnos käyttäen luokkaa J kantana

20. Laskennallisia huomioita

21. Laskennallisesta vaativuudesta Kernelit ja lokaali regressio ovat muisti pohjaisia menetelmiä (memory-based methods) Mallina on koko harjoitusjoukko ja sovitus tehdään evaluointi- tai ennustevaiheessa, voi tehdä menetelmistä sopimattomia reaaliaikaisiin sovelluksiin.

22. FLoating point Operations Per Second Laskennallinen vaativuus sovitteelle yhdellä havainnolla x0 on O(N) flops, vertailuksi M kantafunktion laskennellinen vaativuus on O(M) yhdelle evaluaatiolle, tyypillisesti M~O(logN). Kantafunktio menetelmien aloitus laskennalliset vaativuudet ovat luokkaa O(NM2+M3) Smoothing parametrin valinnan laskennallinen vaativuus on O(N2) käyttäen ristiin validointia.

23. Yhteenveto

24. Yhteenveto Luokittelu perustuen kernel-tiheysestimaatteihin on parametriton menetelmä ja voidaan toteuttaa suoraviivaisesti käyttäen Bayesin teoriaa. Luokittelu tapa ei välttämättä sovellu reaaliaikaisiin sovelluksiin.

25. KIITOS : ) Lähde: Wikipedia

26. Kotitehtävä Määritä posteriori-todennäköisyys sille, että havainto kuuluu luokkaan ”normi”? Mallia voi katsoa kirjan kuvasta 6.14. Liitteenä m-tiedost, jossa data.