1 / 34

Signifikanstesting

Signifikanstesting. Ronny Klæboe Transportøkonomisk institutt. Hva vi går igjennom. Diskrete og kontinuerlige ssh fordelinger Litt om enkle binomiske forsøk Deretter mer formalisert om: Type I og Type II feil Signifikansnivå Effektstørrelse – Bare såvidt Teststyrke – Bare såvidt

yitro
Download Presentation

Signifikanstesting

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Signifikanstesting Ronny Klæboe Transportøkonomisk institutt

  2. Hva vi går igjennom Diskrete og kontinuerlige ssh fordelinger Litt om enkle binomiske forsøk Deretter mer formalisert om: Type I og Type II feil Signifikansnivå Effektstørrelse – Bare såvidt Teststyrke – Bare såvidt Ensidig/tosidig test Regneark for p-test, t-test og homogenitetstest

  3. Sannsynlighet • Sannsynlighet – tall mellom 0 og 1 • Diskret fordeling: • Et antall mulige alternativer: m • Et antall av disse er gunstige: g • Alle valg like sannsynlige: • Sannsynligheten for å velge riktig p = g/m • Sannsynligheten for å ”misse” er 1 – p = 1 – g/m siden sannsynligheten av alle begivenheter  1

  4. Kast med mynt og kron – Ulike kombinasjoner Metodekurs utvalgsteori 13. mai 2011

  5. Sannsynligheten for en spesifikk sekvens La oss si det ikke er akkurat 50-50 men K=0.55 M=0.45 Da er sjansen for først å få 3 mynt og deretter 3 kron som følger: 0.45x0.45x0.45x0.55x0.55x0.55=0.453x0.553=0.01516 Sjansen for først å få 3 kron og deretter 3 mynt tilsvarende: 0.55x0.55x0.55x0.45x0.45x0.45=0.553x0.453=0.01516 Metodekurs utvalgsteori 13. mai 2011

  6. Kast med mynt og kron – antall kombinasjoner Metodekurs utvalgsteori 13. mai 2011

  7. Diskrete fordelinger Binomisk fordeling (ett av to utfall) Forventet gjennomsnitt = n x p

  8. Velge et forkastningsområde

  9. Metodekurs utvalgsteori 13. mai 2011

  10. Miljø og Klima: Sabatt Tolfa September 15-18 Metodekurs utvalgsteori 13. mai 2011

  11. Test av to prosent-tall med regneark

  12. Homogenitetstest

  13. Kontinuerlige ssh-fordelinger • Integralet må være = 1 • Mest kjente bygger på Normalfordelingen • Normalfordelingen • Sum av normalfordelte er selv normalfordelt • Gjennomsnitt dermed normalfordelt • Differenser: X2-X1 normalfordelt • Kji-kvadratfordeling • T-fordeling (Students t) • Fisherfordeling • Logitfordeling, probit, ekstremverdi (Gumbel), negativ binomialfordeling, rektangulærfordeling ...

  14. Sentralgrenseteoremet Metodekurs utvalgsteori 13. mai 2011

  15. t-test • A common situation in psychology is when an experimenter randomly assigns people to an “experimental” group or a “control” group to study the effect of the manipulation on a continuous outcome. • In this situation, we are interested in the mean difference between the two conditions. • The significance test used in this kind of scenario is called a t-test. A t-test is used to determine whether the observed mean difference is notwithin the range that would be expected if the null hypothesis were true.

  16. t-test example • We are interested in whether caffeine consumption improves people’s happiness. • We randomly assign 25 people to drink decaf and 25 people to drink regular coffee. • Subsequently we measure how happy people are. • Note: The independent variable is categorical (you’re in one group or the other), and there are only two groups. • The dependent variable is continuous—we measure how happy people are on a continuous metric.

  17. Neyman & Pearson • Vi skal ta en avgjørelse i valget mellom to konkurrerende hypoteser • H0 Nullhypotesen og • H1 Den alternative hypotesen (at noe ”virker”) • Enten: Vi kan ikke forkaste H0 • Eller: Vi forkaster H0

  18. Alternativene vi står overfor

  19. Feiltyper Vi forkaster ikke H0 | H0 gjelder (1- )  Vi forkaster H0 | H0 gjelder () Type I feil (falsk positiv)  Vi forkaster ikke |H1 gjelder Type II feil  (gir ikke beh) Vi forkaster H0 | H1 gjelder (1- ) (ekte positiv) 

  21. Sjansen for type I feil og type II feil

  22. Statistisk teststyrke (power) Sjansen for å Forkaste H0 | H1 gjelder = (1- ) Kan beregnes på forhånd når en kjenner utvalgsstørrelsen, valgt  og størrelsen på effekten en vil teste (fra tidligere undersøkelser eller fra teori)

  23. Sjansen for type I feil og type II feil

  24. Betydning av n for samplingfordeling Metodekurs utvalgsteori 13. mai 2011

  25. t-test example • Let’s say we find that the control group has a mean score of 3 (SD =1) and the experimental group has a mean score of 3.5 (SD = .9). • Thus, there is a .50 difference between the two groups. [3.5 – 3.0 = .5] • Two possibilities • The .5 difference between groups is due to sampling error, not a real effect of caffeine. In other words, the two samples are drawn from populations with identical means and variances. • The .5 difference between groups is due to the effect of caffeine, not sampling error. In other words, the two samples are drawn from populations with different means (and maybe different variances).

  26. t-test example • As before, then, we need to specify (a) the mean of the sampling distribution and (b) the SD of the sampling distribution (SE).

  27. T-test - regneark

  28. Enkelttester kontra mange • Bonferroni Gitt y uavhengige tester hvor hver test har signifikansnivå x og hvor vi vil ha en garanti på 5% for ikke H1 ikke velges i noen av testene (gitt at H0 gjelder). x må da velges=

  29. Meta-analysePublikasjonsskjevhet SENSURERT

  30. Kritiske kommentarer til opprinnelig formulering av signfikanstester

  31. Fokus på feil sted

  32. Ofte brukt feil

More Related