Kapitel 7

1. Kapitel 7 Point Estimation Dan Hedlin

2. Vad är en punktskattning? • CB: Defintion 7.1.1: A point estimator is any function of a sample • Väldigt vid definition: syftet är att skatta något, t.ex. en parameter  (syftet med minimalt tillräcklig statistika är datareduktion) • Teman i kap. 7: - konstruera punktestimatorer - utvärdera dessa

3. Konstruktion CB tar upp: • Momentmetoden • Maximum-likelihood • EM-algoritmen • Bayesianska metoder • Jag fokuserar på de två första

4. Två skäl till att lära sig konstruktion • I praktiskt arbete använder man för det mesta ”färdiglagade” estimatorer, men… • Ibland finns det ingen färdig, eller så hittar man ingen i litteraturen • Även om man hittar någon, t.ex. på internet, är det bra att kunna konstruera själv för att kolla

5. Momentmetoden • Enkel, ger nästan alltid hyfsat bra resultat, kan rekommenderas för praktiskt arbete • Enligt stora talens lag osv (om det behövs)

6. Med antagande om modellfamilj ”vet” vi vad högerleden är • Kan använda t.ex. första och tredje momentet istället för första och andra momentet • Istället för det ocentrerade andra momentet kan man använda

7. Ex: gammafördelning • Med momentmetoden sätter vi (lös ut)

8. Maximum likelihood • Svarar på frågan: vilket eller vilka parametervärden maximerar likelihooden • Ger ofta den ”naturliga” skattningen, t.ex. andelen ”lyckade” försök som skattning av p om man drar ur binomialfdl

9. ML-skattningars egenskaper • Inte alltid möjligt att få ut ett slutet uttryck • Besvär vid flackt optimum • Existerar inte alltid • Ofta krångligare härledning än moment-metoden • Invariant: om är en MLE av , då är en MLE av , för vilken funktion som helst

10. Om vi uppfattar likelihoodfunktionen som en statistika är den minimalt tillräcklig • En MLE uppfyller alltid tillräcklighets- och likelihoodprincipen • Goda asymptotiska egenskaper (kap. 10)

11. Hur utvärdera en estimator? • Liten eller ingen bias • Liten varians • Liten MSE • Robust mot avvikelser i data • Robust mot avvikelser i modell • Liten ”loss” • Andra egenskaper?

12. Finns ingen, enda allmänt accepterad egenskap • I så fall skulle det vara minsta MSE • Ytterligare en egenskap: uppfyller Cramér-Raos olikhet • Det finns en gräns för hur liten varians som en estimator kan ha i vissa typer av problem (måste kunna byta ordning på integrering och derivering)

13. Standardtillämpningar på ML • Finn stationära punkter genom att sätta derivatan till 0. Undersök dessa med t.ex. andra-derivatan. Kolla även randpunkter. • Knep: om täthet har formen exp(parameter), ta log först • Exempel 7.2.5-7.2.7; Ex 7.2.11-7.2.12 • Annat, ”inkrementresonemang” Ex 7.2.9

14. Enemy Tank Problem • Approximera med kontinuerlig likformig fördelning på (1, ) • Minimalt tillräcklig statistika max(xi) • Vi vill skatta  • Momentmetoden

15. Sätt (en parameter: behövs bara en ekvation) • Approximera med kontinuerlig likformig fördelning på (a, b) (där vi sätter a =1)

16. Alternativ skattning • Maximum likelihood • ekvivalent

17. stickprov • Vilket val av , som fkt av stickprov, ger max(L)? • T.ex. om inte alla xi lika, dvs nästan alltid; därför • maximerar likelihooden

18. Tre alternativa estimatorer • inte minimalt tillräcklig (ej 1-1-funktion av • Utvärdera estimatorerna • Bias? (teorem 5.2.6) (exempel 5.4.5)

19. är alltså ej väntevärdesriktig men är det • Varians • Kan visa att även är av ordning 1/n • Men • Alltså av ordning

20. Cramér Raos olikhet • Den minsta variansen för en estimator W(X): • Villkor: måste kunna kasta om integral och derivata. Kan inte göra detta om supporten beror av parametern (se Leibnitz regel)

21. Fisherinformationen • Ett tal (eller symbol som representerar ett tal); ju större desto mer info

22. Om alla xi oberoende är informationen additiv, dvs infon för stickprovet är summan av delarna • Om ej oberoende är informationen mindre

23. ”attainment” • Antag att • a() är någon funktion • Då nås nedre gränsen omm • Betyder att skattningen och HL, ”score”, ska samvariera starkt Felet i skattningen

24. Mer om Cramér Raos olikhet • Den minsta variansen för en estimator W(X): • där är the score • dvs

25. Detta är alltid sant för stokastiska variabler att • CR:s olikhet bidrar med uttryck för högerledet i olikheten • Av beviset framgår att E(S(X)) = 0 • Fisherinformationen är Var(S(X)) , dvs…

26. Fisherinformationen

27. ”attainment” • Antag att • a() är någon funktion • Då nås nedre gränsen ommKan visa att det gäller för tillräcklig statistika i en exponentialfamilj • Korrelationen ska vara hög

28. Ytterligare teorem: • Det finns bara en bästa vvr estimator av • Anta att T(X) är en fullständig (complete) och tillräcklig statistika m.a.p.  är en estimator som är baserad enbart på T(X). Då är den unika, bästa (minsta varians) estimatorn som är vvr för

29. Rao-Blackwells teorem • Villkor 1: W(X) vvr för • Villkor 2: T(X) tillräcklig för  • Konstruera en ny estimator genom att ta • Då är den nya estimatorn vvr och ”likformigt bättre” än W(X) , dvs mindre varians, alltid

30. Om kriteriet är minsta varians, kan (bör) vi alltså begränsa valet av estimator till dem som bygger på en tillräcklig statistika • Ännu bättre: tillräcklig och fullständig