Bayesilainen tilastoanalyysi - priorijakaumista

1. Bayesilainen tilastoanalyysi- priorijakaumista • Tavallisin Bayesanalyysin tapaus on jakauman parametrien “estimointi” • Havaittu otos koostuu (vaihdettavien) satunnaismuuttujien arvoista: • Koska satunnaismuuttujat Xiovat vaihdettavia, niiden niilla on yhteinen jakauma (ehdolla parametri) • Parametri on myös satunnaismuuttuja, jonka (a priori) jakauma on

2. Bayesilainen tilastoanalyysi- priorijakaumista • Likelihoodfunktio (joka on havaittaujen muuttujien yhteisjakauma tai löysästi sanonnutta todennäköisyyshavaita otos) on nyt, koska Xi :t ovat vaihdettavia: • Huom! Vaihdettavuus = ehdollinen riippumattomuus ehdolla parametri • Posteriorijakauma on nyt

3. Bayesilainen tilastoanalyysi- priorijakaumista • Ongelma: miten valita priori jakauma? • Miten ilmaista tietämättömyys; epäinformatiiviset jakaumat • Miten ilmaista tieto; informatiiviset jakaumat • Miten helpottaa laskennallisia ongelmia: konjugaattiset priori-likelihood-parit

4. Bayesilainen tilastoanalyysi- priorijakaumista Konjugaattipriorit: • Jos sekä priori- että posteriorijakaumat kuuluvat samaan jakaumaperheeseen, puhutaan konjugaattisesta priori-likelihood parista. • Tällöin sekäö priori- että prosteriori jakaumien muoto on sama, mutta niiden parametrien arvot ovat erilaiset • Jos tarkasteltavien muuttujien (Xi) yhteinen jakauma kuulun ns. Eksponentiaaliseen jakaumaperheeseen, voidaan löytää konjugaattipriori • Eksponentiaaliseen jakaumaperheeseen kuuluvien jakaumien tiheysfunktiot ovat muotoa:

5. Bayesilainen tilastoanalyysi- priorijakaumista Konjugaattipriorit: esimerkkejä • Binomijakauma (= Bernoulli-otanta) • Otos muotoa: havaittiin k kpl tietynlaisia tapahtumia kun tehtiin n koetta (seim. Havaittiin, että n:stä käynnistetystä laitteesta k ei käynnistynyt) • Likelihood on nyt binomijakauma B(p,n) • Likelihood on eksponentiaalista muotoa (osoita harjoitustehtävänä) • Konjugaattinen priori on selvästi muotoa

6. Bayesilainen tilastoanalyysi- priorijakaumista Konjugaattipriorit: esimerkkejä • Binomijakauma (= Bernoulli-otanta) • posteriorijakauma on muotoa • Nähdään että posteriori ja priori kuuluvat samaan jakaumaperheeseen • Kysymys on betajakaumasta

7. Bayesilainen tilastoanalyysi- priorijakaumista Konjugaattipriorit: esimerkkejä • Poissonotanta • Likelihood on eksponentiaaliseen perheeseen kuuluva Poisson jakauma • Otos esim muotoa: havaittu x kpl vikoja tietyn ajanjakson aikana • Konjugaattipriori on muotoa (totea) ; eli gammajakauma

8. Bayesilainen tilastoanalyysi- priorijakaumista Konjugaattipriorit • Vastaavia konjugaattiprioreja löytyy helposti monille otantatilanteille: • Normaalijakauma, moniulotteiset normaalijakaumat • Multinomijakauma (binomijakauman yleistys) • Gammajakautunut otos • Jne.

9. Bayesilainen tilastoanalyysi- priorijakaumista Konjugaattipriorit • Konjugaattipriorien sekoitus (mixture) on myös konjugaattipriori, koska

10. Bayesilainen tilastoanalyysi- priorijakaumista Epäinformatiiviset priorit: • Halutaan että priorijakauma vaikuttaa mahdollisimman vähän posteriorijakaumaan, ts. Likehoodilla on suurin merkitys • Tasakajauma priorina • Jeffreyn priori; perustuu ns Fisherin informaatioon:

11. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Reject-accept menetelmä : • 1. Arvotaan luku priorijakaumasta • 2. Lasketaan likelihoodfunktion arvo ko. parametrin arvolle, eli L(a) • 3. Lasketaan suhde r = L(a)/L(a*), missä L(a*) on maksimaalinen likelihoodfunktion arvo • 4. Hyväksytään arvottu luku a posteriori-otokseen todennäköisyydellä r • 5. Toistetaan askelia 1-4 niin kauan, että halutun kokoinen otos posteriorista on saatu (esim. sata lukua) • 6. Muodostetaan empiirinen posteriorijakauma

12. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Osoitetaan “reject-accept” algoritmi todella tuottaa otoksia halutusta jakaumasta • Bayes/posteriorijakauma parametrille  on muotoa: Pätee, että

13. Bayesilainen tilastoanalyysi-numeerisista menetelmistä “´Reject-accept” algoritmi: jos on olemassa M > 0 siten, että f()  g()M, niin algoritmi: 1. Arvo  jakaumasta g() 2. Arvo u tasajakaumasta U(0,1) 3. Jos u f()/M g()M, hyväksy , muuten toista 1-3 Algoritmin mukainen hyväksytty  noudattaa jakaumaa

14. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Todistus. Olkoon Nyt

15. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Markov Chain Monte Carlo menetelmät: • vastikään suuren suosion saavuttaneita Bayesmallien numeerisia laskeneta menetelmiä • Metropolis algoritmi versioineen • Gibbs sampler versioineen • winbugs-ohjelmistoperhe, ks www.mrc-bsu.cam.ac.uk/bugs/welcome.shtml • sopivat hyvinkin suurien Bayesmallien laskentaan.

16. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Gibbs-sampler: • tavoitteena määrittää haluttujen muuttujien posteriorijakauma suurissa (erityisesti hierarkisissa) Bayesmalleissa • lähestymistapa perustuu Monte Carlo simulointiin • kohtalaisen helposti muodostettavissa • Gibbs-sampler on Metrolpolis algoritmin erikoistapaus

17. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Gibbs-sampler: • tarkastellaan satunnaisvektoria X=(X1,X2,…, Xn) • olkoon p(x1,x2,…, xn ) ko. vekrorin komponenttien yhteisjakauma • oletetaan että ehdolliset jakaumat p(xi|x1,…, xi-1, xi+1,…, xn) ovat muodostettavissa ja että niistä voidaan arpoa helposti satunnaisluku • huom! yleensä erityisesti hierarkisissa malleissa muuttajat riippuvat suoraan vain muutasta ”naapurimuuttujusta” ja em ehdolliset jakaumat ovat yksinkertaisia

18. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Gibbs-sampler: • Gibbs Sampler algoritmi on seuraava • valitaan joku alkuarvo vektorille x • j=1,…,M arvotaan uusi arvo x1j muuttujalle x1ehdollisesta jakaumasta • i=2…n arvotaan uusi arvo muuttujalle xiehdollisesta jakaumasta • Lopetetaan kun prosessia on toistettu M kierrosta

19. Bayesilainen tilastoanalyysi-numeerisista menetelmistä Gibbs-sampler: • suppeneminen kohti yhteisjakaumaa johtuu siitä, että algortimin mukainen prosessi on Markov-prosessi, jolla on tasapainotila • tasapainotilan jakauma on juuri tarkasteltava yhteisjakauma’ • todistuksen yksityiskohdat löytyvät esim. kirjasta Gelman et al, Bayesian Data analysis