Generatív (Bayesi) modellezés

1. Generatív (Bayesi) modellezés 2013. ápr. 17.

2. Slides by (credit to): David M. Blei Andrew Y. Ng, Michael I. Jordan, IdoAbramovich, L. Fei-Fei, P. Perona,J. Sivic, B. Russell, A. Efros, A. Zisserman, B. Freeman,Tomasz Malisiewicz, Thomas Huffman, Tom Landauer and Peter Foltz, Melanie Martin, Hsuan-Sheng Chiu, HaiyanQiao, Jonathan Huang Thankyou!

3. Generatív modellezés • Felügyelet nélküli tanulás • … túl a klaszterzésen • Hogyan írjuk le/modellezzük a világot a számítógépnek? • Bayes háló!

4. Generatív (Bayesi) modellezés Találjuk meg a paramétereket amikkel a modell a legjobban „rekonstruálja” a megfigyelt adatot Modell „Generatív sztori” ADAT

5. A dokumentum klaszterzés/osztályozás probléma • Szöveges dokumentumokat sorolunk be témákba vagy • Képekről tanuljuk meg, hogy mi szerepel rajtuk • „Szózsák modell” • A term-dokumentum mátrix:

6. Kép „Szavak” zsákja

7. N db dokumentum: D={d1, … ,dN} • A szótár M db szót tartalmaz • W={w 1 , … ,w M} • A term-dokumentummátrixmérete N * M, az egyes szavak (termek) dokumentumbeli előfordulását tartalmazza • term lehet 1 szó, többszavas frázis vagy képrészlet is • Előfordulást jellemezhetjük gyakorisággal, binárisan stb.

8. A szózsák modell problémái • Sorrendiség és pozíció elveszik • Szinonímák: sok féleképen hivatkozhatunk egy objektumra (fogalomra), pl: álmos-kialvatlan → gyenge fedés • Poliszémia: a legtöbb szónak több jelentése van, pl: körte, puska → gyenge pontosság

9. képi poliszémia

10. Dokumentumok klaszterezése • Minden dokumentumhoz rendeljünk egy „topic”-ot

11. Generatív sztori az „unigram modell”hez • Hogyan generálódik(ott) egy dokumentum? • „Dobjunk” egy topicot • Minden kitöltendő szópozícióra „dobjunk” egy szót a kiválasztott topichoz TOPIC ... szó szó

12. Valószínűségi LSApLSA ProbabilisticLatentSemanticAnalysis • Minden dokumentumot egy valószínűségi eloszlás ír le a topicok felett • Minden topicot egy valószínűségi eloszlás ír le a szavak felett • Az eloszlások interpretálhatóak

13. Viszony a klaszterzéshez… • A dokumentumok nem pontosan egy klaszterbe sorolódnak be • Topicok egy eloszlását határozzuk meg minden dokumentumhoz → sokkal flexibilisebb

14. Generatív sztori a pLSA-hoz • Hogyan generálódik(ott) egy dokumentum? • Generáljunk egy topic-eloszlást • Minden kitöltendő szópozícióra „dobjunk” egy topicot a topic-eloszlából • „Dobjunk” egy szót a kiválasztott topichoz TOPIC eloszlás ... TOPIC TOPIC ... szó szó

16. Példa money money loan bank DOCUMENT 1: money1 bank1 bank1 loan1river2 stream2bank1 money1river2 bank1 money1 bank1 loan1money1 stream2bank1 money1 bank1 bank1 loan1river2 stream2bank1 money1river2 bank1 money1 bank1 loan1bank1 money1 stream2 .8 loan bank bank loan .2 TOPIC 1 .3 DOCUMENT 2: river2 stream2 bank2 stream2 bank2money1loan1 river2 stream2loan1 bank2 river2 bank2bank1stream2 river2loan1 bank2 stream2 bank2money1loan1river2 stream2 bank2 stream2 bank2money1river2 stream2loan1 bank2 river2 bank2money1bank1stream2 river2 bank2 stream2 bank2money1 river bank .7 river stream river bank stream TOPIC 2

17. A modell illesztése (tanulása) ? DOCUMENT 1: money? bank? bank? loan? river? stream? bank? money? river? bank? money? bank? loan? money? stream? bank? money? bank? bank? loan? river? stream? bank? money? river? bank? money? bank? loan? bank? money? stream? ? TOPIC 1 DOCUMENT 2: river? stream? bank? stream? bank? money?loan? river? stream? loan? bank? river? bank? bank? stream? river?loan? bank? stream? bank? money?loan? river? stream? bank? stream? bank? money?river? stream?loan? bank? river? bank? money?bank? stream? river? bank? stream? bank? money? ? TOPIC 2

18. pLSA Megfigyelt adat- eloszlások topicokeloszlása dokumentumonként termek eloszlása a topicok felett Slide credit: Josef Sivic

19. Generatív sztori a pLSA-hoz • Hogyan generálodott egy dokumentum? • Generáljunk egy topic-eloszlást • Minden kitöltendő szópozícióra „dobjunk” egy topicot a topic-eloszlából • „Dobjunk” egy szót a kiválasztott topichoz TOPIC eloszlás ... TOPIC TOPIC ... szó szó

20. pLSA – modell-illesztés

21. Az „expectation-maximisation”, EMalgoritmus • Iteratív módszer maximum likelihood becslésre • rejtett változók esetén • E-lépés • Rejtett változók várható értékének kiszámítása, úgy hogy fixáljuk a keresett paramétereket • M-lépés • Frissítsük a paramétereket úgy, hogy a rejtett változók értékét rögzítjük. • Maximalizáljuk a (likelihood) célfüggvényt

22. pLSA – E-lépés A paraméterek ismerete mellett, mi a rejtett változók (z, topicok) eloszlása

23. pLSA – M-lépés Rögzítsükp(z|d,w)-ket és

24. EM algoritmus • Lokális maximumhoz konvergál • Megállási feltétel? • Adatbázis és/vagy ismeretlen példákra való illeszkedés?

25. pLSA problémái • Korábban nem látott dokumentumokra újra kell számítani a teljes halmazon. • A paraméterek száma az adathalmaz méretével nő • d tulajdonképpen csak egy index, nem illik a generatív sztoriba

26. LDA

27. Unigram modell Zi wi1 w2i w3i w4i Minden M db dokumentumhoz, • dobjunk egy z topicot. • Dobjunk N szót, egymástól függetlenül multinomiális eloszlásból z függvényében Minden dokumentumhoz egy topicot rendelünk

28. pLSA modell Minden d dokumentum minden szópozíciójára: • Dobjunk egy z témát egy multinominális eloszlásból ami a d indextől függ • Dobjunk egy szót multinomális eloszlásból, ami z-től függ. pLSA-ban a dokumentumokhoz topicok egy eloszlását rendeljünk. d zd1 zd2 zd3 zd4 wd1 wd2 wd3 wd4

29. LDA modell  • Minden dokumentumra, • dobjunk~Dirichlet() • Minden nszópozícióra : • dobjunk egy zntopicot zn ~ Multinomial() • dobjunk egy wnszót p(wn|zn,)multinomiális eloszlásból    z1 z2 z3 z4 z1 z2 z3 z4 z1 z2 z3 z4 w1 w2 w3 w4 w1 w2 w3 w4 w1 w2 w3 w4 b

30. LDA modell • Minden dokumentumra, • dobjunk~Dirichlet() • Minden nszópozícióra : • dobjunk egyzntopicotzn~ Multinomial() • dobjunk egywnszót p(wn|zn,)multinomiális eloszlásból

31. pLSA példa z d w N D “szem” Sivic et al. ICCV 2005

32. LDA példa “part”  z c w N D Fei-Fei et al. ICCV 2005

33. A dirichlet eloszlás • Egy eloszlás a multinominális eloszlások felett. • A k dimenziós  Dirichlet valószínűségi változó elemei nem negatívak és 1-re összegződnek (k-1 szimplex) • ipozitív (nem összegződik 1-re, az abszolút értékei is számítanak, nem csak a relatívak!) • A dirichlet eloszlás a multinominális eloszlás konjugált priorja (ha a likelihoddmultinominálisdirichlet priorral akkor a posterior is dirichlet) • Aziparaméterre gondolhatunk úgy, mint az i. topic gyakoriságára vonatkozó priorra

34. 0 Példák Dirichlet(5,5,5) Dirichlet(0.2, 5, 0.2) 1 0 Dirichlet(0.5,0.5,0.5)

35. Dirichlet példák

36. 1 =2 =3 = a

37. LDA

38. Következtetés Egzakt optimalizáció nem kivitelezhető

39. KövetkeztetésGibbs mintavételezéssel • közelítő valószínűségi következtetés • dobjunk a Bayes hálónak megfelelően mintákat • a felvett változóértékek gyakoriságával becsüljük az együttes eloszlásokat • Markov Lánc Monte Carlo módszer • a következő minta függ az előző mintáktól (azaz ne véletlenül és egymástól függetlenül dobáljunk mintákat) • Gibbs mintavételezés • a következő mintát úgy kapjuk, hogy az egyes változókat kidobjuk a többi változó aktuális értékének rögzítése mellett

40. pLSA és LDAösszehasonlítás • pLSA problémái • új dokumentumokat nem tudja kezelni • adatbázis méretével nő a paraméterek száma (kezelhetőség, túlillesztés) • LDA mindkét problémát kezeli azzal, hogy a topic-eloszlásokat rejtett változóként kezeli • k+kVparaméter

41. LDA zárszó • Az LDA egy flexibilis generative valószínűségi modell • Ekzaktkövetkeztetés nem kivitelezhető, de a közelítő megoldások (pl. variációs következtetés, MCMC) használhatóak és a gyakorlatban jól működnek

42. 1990 1999 2003

44. Objektumok azonosítása képekről Találjuk meg milyen objektumok szerepelnek a képgyűjteményben, felügyelet nélküli módon! Ezeket utána új képeken is ismerjük fel! Automatikusan találjuk meg, hogy milyen jellemzők fontosak az egyes tárgyak azonosításához!