1 / 24

Bajesovsko učenje

Bajesovsko učenje. ARGO Seminar Matematički fakultet Aljoša Obuljen Februar 2009. Uvod. Odlučivanje u prisustvu neizvesnosti Formalni okvir za druge discipline (pravo, medicina...) Teorijske primene u upoređivanju drugih metoda mašinskog učenja. Uvod - osobine.

oakes
Download Presentation

Bajesovsko učenje

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Bajesovsko učenje ARGO Seminar Matematički fakultet Aljoša Obuljen Februar 2009.

  2. Uvod • Odlučivanje u prisustvu neizvesnosti • Formalni okvir za druge discipline (pravo, medicina...) • Teorijske primene u upoređivanju drugih metoda mašinskog učenja

  3. Uvod - osobine • Početno uverenje o hipotezi može biti poznato ili ocenjeno. • Inkrementalna promena uverenja predstavljanjem novih dokaza. • Klasifikacija glasanjem konzistentnih hipoteza sa težinskim faktorima.

  4. Bajesova teorema • H – prostor hipoteza • D – skup razmotrenih podataka • P(h),h iz H – početno uverenje da je h tačna • P(D|h) – uverenje da se skup D razmotri ako je h tačna (verodostojnost) • P(h|D) – traženo uverenje o h pod uslovom da se razmotrio skup D

  5. Bajesova teorema • Teorema daje sledeću vezu između P(h), P(D|h), P(h|D): • Uverenje o h raste sa verodostojnošću i početnim uverenjem o h, a opada sa uverenjem da se razmotri D (česte pojave nisu merodavne koliko retke).

  6. Inkrementalna promena uverenja • Razmatraju se dva dokaza – D1 i D2. • Naknadno uverenje o h posle D1koristi se kao početno prilikom razmatranja D2. • Pokazuje se da je to ekvivalentno razmatranju oba dokaza istovremeno: • Pri analizi D2, uverenje nakon analize D1, tj.P(h|D1) koristi se kao početno. • Ipak, pretpostavlja se nezavisnost u paru i u prisustvu h dokaza D1i D2!

  7. Primer primene Bajesove teoreme • U populaciji postoji retka bolest, samo 0.5% stanovništva je zaraženo. • Određeni test ima verovatnoću lažnog pozitiva 0.01, a lažnog negativa 0.05. • Rezultat testa: pozitivan. • Hipoteze: “bolestan”, “zdrav”.

  8. Primer primene Bajesove teoreme • P(bolestan) = 0.005 (početno uverenje, ocena iz populacije) • P(pozitivan) = P(pozitivan|bolestan)*P(bolestan) +P(pozitivan|zdrav)*P(zdrav) == 0.0147 (teorema totalne verovatnoće) • P(pozitivan|bolestan) = 0.95 • Traži se P(bolestan|pozitivan) • Bajesova teorema daje • P(bolestan|pozitivan) =P(pozitivan|bolestan)*P(bolestan)/P(pozitivan) = 0.3231. • Verovatnije je da je pacijent zdrav! (Zbog retkosti bolesti)

  9. Bajesova teorema i učenje koncepta • Koncept: preslikavanje X->{0,1}, pri čemu je X prostor uzoraka. • Primer: koncept “drvo” na prostoru realnog sveta objekte deli na one koji jesu, odnosno nisu drvo. • Koncept je nepoznat – dati su neki uzorci, njihova pripadnost konceptu i skup hipoteza. • Zadatak: naći najuverljiviju hipotezu na osnovu datog.

  10. Učenje koncepta • Ako je sa D obeležen skup datih uzoraka sa poznatom pripadnošću traženom konceptu, najuverljivija hipoteza daje se sa:

  11. Praktični problemi • Najčešće početna uverenja o hipotezama nisu poznata. • Podaci mogu imati šum (data pripadnost u skupu obuke ne mora biti tačna). • Traženi koncept mora pripadati skupu hipoteza koji se razmatra.

  12. Jedan pristup u pronalaženju najuverljivije hipoteze • Početna uverenja hipoteza mogu biti modelovana uniformno – nijedna hipoteza nije uverljivija od druge. • Verodostojnost svake hipoteze može se odrediti binarno, tj. P(D|h)=1, ako je hipoteza konzistentna sa skupom obuke, 0 u suprotnom. • Tada je uverljivost svake konzistentne hipoteze data kao: • VSH,Ddefiniše se kao skup konzistentnih hipoteza.

  13. Pronalaženje najuverljivije hipoteze - nastavak • Ovaj pristup daje mogućnost da početna uverenja ne budu poznata. • Problem: sve konzistentne hipoteze imaju isto naknadno uverenje. Jedino rešenje je početno znanje o uverljivosti hipoteza. • Problem: nekonzistentne hipoteze su isključene. Mogu se definisati i njihove verodostojnosti, npr. kao procenat konzistentnih uzoraka.

  14. Optimalni bajesovski klasifikator • Umesto pitanja “Koja hipoteza je najuverljivija?”, postavlja se pitanje “Koja je najuverljivija klasifikacija novog uzorka?” • Moguće klasifikacije date su skupom V. • Uverljivost svake klasifikacije: • Potrebno je modelovati P(vj|hi).

  15. Optimalni bajesovski klasifikator • U slučaju binarne klasifikacije gde se razmatra pripadnost konceptu koji predstavljaju hipoteze. • V={-,+}, P(-|hi) = P(hi(x) = 0), P(+|hi) = P(hi(x) = 1) • Primer – P(h1|D) = 0.4, P(h2|D) = P(h3|D) = 0.3. Za dato x, h1(x) = 0, h2(x) = h3(x) = 1. • Sve tri hipoteze su konzistentne sa D, ali pravi koncept nije poznat. Dve hipoteze, sa kumulativnom uverljivošću od 0.6 tvrde da x pripada traženom konceptu, dok jedna sa uverljivošću 0.4 tvrdi da ne pripada. • Uverljivost da x pripada konceptu je 0.6. • Najuverljivija hipoteza ne daje i najuverljiviju klasifikaciju!

  16. Optimalni bajesovski klasifikator • Za data početna uverenja o hipotezama, razmotreni skup obuke i modelovane verodostojnosti, ovaj način klasifikacije je optimalan. • Problem: računska neefikasnost u slučaju velikog broja konzistentnih hipoteza.

  17. Naivni bajesovski klasifikator • Optimalni bajesovski klasifikator ne daje direktnu mogućnost n-arne klasifikacije. • Razlog: polazi se od konceptualizacije podataka koja je po prirodi binarna klasifikacija. • Naivni bajesovski klasifikator daje drugačiju primenu Bajesove teoreme na n-arnu klasifikaciju.

  18. Naivni bajesovski klasifikator • Uzorci se predstavljaju torkama atributa. • Moguće klasifikacije (etikete) su date skupom V. • Najuverljivija klasifikacija uzorka je: • Ocena faktora P(vj) iz skupa obuke, ocena faktora P(a1, a2,…,an|vj) teška!

  19. Naivni bajesovski klasifikator • Rešenje: pretpostavlja se uslovna nezavisnost atributa u prisustvu bilo koje klasifikacije. • Tada je najuverljivija klasifikacija:pri čemu je vrednosti P(ai|vj) lakše oceniti. • Pretpostavka o nezavisnosti daje reč “naivni” u imenu. • Vrlo jaka pretpostavka, često netačna, dobri rezultati u praksi uz oprez u primeni.

  20. Primer – klasifikacija teksta • Binarna (npr. spam) • N-arna (npr. određivanje autorstva) • Atributi teksta: reči, ai je reč na i-toj poziciji u tekstu. • U slučaju spam-a, moguće klasifikacije su {0,1}. • P(0) i P(1) se lako ocenjuju na osnovu datih tekstova i njihovih klasifikacija.

  21. Primer – klasifikacija teksta • Pretpostavlja se nezavisnost reči od drugih reči i reči od pozicija u tekstu. • Pretpostavke su jake, često netačne, ali dobijaju se dobri rezultati u praksi. • Ako je V={0,1}, najuverljivija klasifikacija teksta data je naivnim bajesovskim klasifikatorom kao: • P(wi|vj) se ocenjuje kao broj pojavljivanja reči wi u osnosu na ukupan broj reči.

  22. Primer – klasifikacija teksta • Lako se proširuje na n-arnu klasifikaciju. • Jedan eksperiment: • 20 konferencija na Internetu • Po 1000 članaka iz svake za obuku • Od njih, 1/3 za verifikaciju, 2/3 za ocenu • Vokabular od 38500 engleskih reči • Uspešnost klasifikacije čak 89%!

  23. Bajesovske mreže uverenja • Dosadašnji problem: ignorisanje međusobnih zavisnosti atributa/dokaza. • Bajesovske mreže uverenja daju kompromis – posmatraju se samo neke zavisnosti. • Promenljive se prikazuju acikličnim usmerenim grafom. • Grane grafa opisuju zavisnosti.

  24. Zaključak • Formalni okvir za učenje i odlučivanje u prisustvu neizvesnosti. • Određivanje naujverljivije hipoteze pod datim pretpostavkama. • Određivanje najuverljivije klasifikacije sa najmanjom verovatnoćom greške. • N-arna klasifikacija objekata opisanih nezavisnim atributima. • Analiza međusobnih zavisnosti kod kompleksnih problema preko mreža uverenja.

More Related