Kotitehtävän ratkaisu

1. Kotitehtävän ratkaisu • Sovellettaessa perinteistä EM-algoritmia tuntemattoman rakenteen ongelmaan, rakenteen haku pitää tehdä EM-silmukan ulkopuolella. • Tehotonta ja laskennallisesti raskasta • Structural EM (SEM, myös Model-Selection EM) tekee mallin rakenteen valinnan EM-silmukan sisäpuolella, ja toimii huomattavasti paremmin.

2. Kotitehtävän ratkaisu • SEM koostuu: • Expectation (E) –osasta joka on samanlainen kuin perinteisessä EM-algoritmissa • Datan täydennys • Maximization (M) –osasta, joka poikkeaa perinteisestä siinä että parametrien uudelleen estimoinnin lisäksi myös mallirakennetta voidaan päivittää. • Muutamia eri variaatioita

3. Kotitehtävän ratkaisu • Eroja: • SEM pystyy yhden iteraation aikana parantamaan paitsi parametrien lukuarvoja myös rakennetta • SEM maksimoi käytetyn kriteerin odotusarvoa, EM ko. kriteerin todellista arvoa • Epätäydellisen datan tilanteessa likelihood ei ositu → parametrit verkon eri osissa riippuvaisia toisistaan • Voidaan osoittaa että kriteerin odotusarvon parantuessa myös todellinen arvo paranee

4. Kotitehtävän ratkaisu • Laajennus dynaamisiin Bayes-verkkoihin? • Kuten viimeksi todettiin DBN ei avattuna poikkea staattisesta Bayes-verkosta muuten kuin mahdollisesti kooltaan. • Laajennus suoraviivaista, aikasiivujen välinen rakenne pitää ottaa huomioon. • Konvergenssin todistus tehty myös DBN:lle.

5. Kotitehtävän ratkaisu • Joitain heikkouksia: • Laskennallinen vaativuus (iteratiivinen ja vaatii tehokkaan tavan laskea marginaalijakaumia). • Lokaali hakumenetelmä, joka hakeutuu johonkin lokaaliin minimiin. Ei takaa parasta mahdollista ratkaisua. • Deterministinen algoritmi, alkutila määrää mihin pisteeseen konvergoidutaan. • Soveltuu ainoastaan kaksiosaisille kriteereille, joissa on datan likelihood ja kompleksisuuden rangaistustermi. • Tuottaa tuloksena yhden mallin. Ei kerro mitään mallien jakaumasta.