1 / 48

Å forklare sosiale fenomener

Å forklare sosiale fenomener. Introduksjon til regresjonsanalyse Kap. 8. Introduksjon til regresjonsanalyse (Kap 8). Hva brukes regresjonsanalyse til? Beskrivelse av den lineære regresjonsmodellen Minste kvadrats(sums) metode Hvor mye modellen forklarer (R 2 ).

callia
Download Presentation

Å forklare sosiale fenomener

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Å forklare sosiale fenomener Introduksjon til regresjonsanalyse Kap. 8 www.gjestad.biz

  2. Introduksjon til regresjonsanalyse (Kap 8) • Hva brukes regresjonsanalyse til? • Beskrivelse av den lineære regresjonsmodellen • Minste kvadrats(sums) metode • Hvor mye modellen forklarer (R2). • Konfidensintervall og hypotesetesting • Hva hvis regresjonsparameteren ikke blir signifikant? • Prediksjon og prediksjonsfeil • Skifte av måleenhet – Standardiserte regr.koeffisienter www.gjestad.biz

  3. Hvorfor regresjonsanalyse? • Korrelasjonskoeffisienten: et symmetrisk mål • Regresjonsanalyse: asymmetrisk behandling av variablene • Årsak – virkning • Ren prediksjon • r: samvariasjon • MR: Finne predikerte verdier www.gjestad.biz

  4. Viktige spørsmål som kan besvares • Styrke og retning • Kvantifisering av sammenheng • Økning/reduksjon i variablene forbundet med hverandre • Bakenforliggende variabler? • Spuriøse variabler / konfunderende variabler • Direkte eller indirekte sammenhenger mellom Y og X ved å kontrollere for mellomliggende variabler www.gjestad.biz

  5. Viktige spørsmål som kan besvares • Relativ betydning av ulike prediktorer • Grad av innvirkning på Y • Prognose - prediksjon • Samme regresjonsmodell i flere grupper? • Lik modell for kvinner og menn? • Samspill – statistisk interaksjon • Modererende effekter: eks.: stressor (X1) – støtte (X2) – stressor x støtte (X1 x X2) og Reaksjon (Y) www.gjestad.biz

  6. Regresjon: Variablenes metrikk • Avhengig: kontinuerlig (ordinal, intervall, ratio) • Hvis dikotom / få kategorier: logistisk regresjon • Uavhengige / prediktorer: alle nivå • Både nominale (eks. dikotome - 2 kategorier), ordinale, intervall og ratio nivå • Kvalitative variabler med flere enn 2 kategorier kan håndteres med dummy-variabler www.gjestad.biz

  7. Den lineære regresjonsmodellen • Formel: • Intercept: a/b0 – Skjæringspunkt med Y-aksen, dvs. når X=0. - Tolkning av denne! • Slope: b1 – Helningsvinkel, dvs. hvor mange enhenter stiger / synker Y når X øker med 1 enhet. • Ved lineær sammenheng: endringen er uavhengig av hvilket nivå X ligger på. • Ikke slik ved IKKE-lineære sammenhenger www.gjestad.biz

  8. Den lineære regresjonsmodellen • Restledd • Andre variabler som påvirker Y, men som ikke er med i modellen. • Måles ikke direkte, men finnes ved forskjellen mellom faktisk observert skåre på Y og forventet (predikert) skåre • Residualvariasjon (varians) • Underrepresentasjon av modellen – en mer avansert modell vil treffe data bedre og dermed gi mindre avvik mellom observert skåre og predikert skåre www.gjestad.biz

  9. Den lineære regresjonsmodellen • Restledd / Residual : • Både positive og negative • Gjennomsnitt = null for en gitt X-verdi • Prediksjon: • Finne Y-predikert når kjenne X, b0 og b1 • Observert skåre=Predikert skåre + rest skåre • Avviket uttrykker i hvilken grad andre prediktorer skaper variasjon i den avhengige variabelen. www.gjestad.biz

  10. Den lineære regresjonsmodellen • Standardavviket til restleddet = sε • Utregning – se side 220 • Regresjonslinjen beskriver hovedtendensen i data • Empirisk regresjonskurve (side 221) • Deler X i intervaller og finner snittverdier for Y • Viser at forutsetningen om linearitet er oppfylt. www.gjestad.biz

  11. Minste kvadrat(sums) metode (OLS) • Velger regresjonslinjen som gir et så lite avvik fra de observerte skårene til de predikerte. • Minimering av feil (e) og maksimering av regresjonen. • Formler for utregning av a og b – se side 222 • Annen formel for b: www.gjestad.biz

  12. Hvor mye forklarer modellen – R2 • Dekomponering av variansen i Y: • Forklart varians (r2) • Forklaring og forklaring? Årsaksforklaring? Predikert varians? • NB! R2 gir litt for høye verdier, særlig ved lite N og ved mange prediktorer. Redning: Adjusted R2 www.gjestad.biz

  13. Konfidensintervall for parameterestimat – hypotesetest • Finne standardfeilen til b1 • Side 225 • Påvirket av telleren (variansen til residualen) og nevneren (N og variansen i X) • Standardfeilen blir mindre når: • Jo mindre residualvarians • Jo større N / flere observasjoner • Jo større variasjon i X www.gjestad.biz

  14. Konfidensintervall for parameterestimat – hypotesetest • Teste hypotesen om at b1= 0 • t = b1 / SE(b1) • Store positive/negative verdier er lite sannsynlige under H0, forkaste H0. • Se p-verdier i datautskriften og sammenligne denne med vår kritiske p-verdi. www.gjestad.biz

  15. Hvis regresjonsparameteren ikke blir signifikant – Forklaring: • Det er ingen sammenheng • For strengt signifikansnivå • For lavt antall observasjoner • For liten variasjonsbredde • Spesifikasjonsfeil (misspecification) • Ikke-lineær modell • Andre viktige forklaringsvariabler er ikke tatt med www.gjestad.biz

  16. Prediksjon og prediksjonsfeil • Prediksjonsfeil: hvor store variasjoner vi må forvente i den avhengige variabelen Y når vi holder X fast. • Konfidensintervall til b www.gjestad.biz

  17. Skifte av måleenhet. Standardiserte regresjonskoeffisienter. • Endring av metrikk medfører endring i b • Endring av X: endring av b1 • Endring av Y: endring av b0og b1 • Beta: • Område for beta: -1 til +1 www.gjestad.biz

  18. Å forklare sosiale fenomener Regresjonsanalysens forutsetninger Kap. 9 www.gjestad.biz

  19. Regresjonsanalyse – Forutsetninger • Linearitet • Homoskedastisitet • Normalfordelte residualer • Fravær av autokorrelasjon i residualen • Fravær av korrelasjon mellom residualen og den uavhengige variabelen. • Konsekvenser av målefeil i X og Y www.gjestad.biz

  20. Linearitetsforutsetningen • Ofte brutt • Pragmatisk syn: Ofte en god / tilstrekkelig tilnærming til data. • Side 238. Tolkning av intercept når denne er negativ sannsynliggjør en ikke-lineær sammenheng. • Figur 9.2 viser at en modell som forutsetter linearitet kan resultere i en IKKE-relasjon når data er IKKE-lineære (C). www.gjestad.biz

  21. Linearitetsforutsetningen • Avdekke ved å: • Se spredning (scatterplot) • Empirisk regresjon – dele opp X i intervaller og se på snittet i Y • Substansiell teori • Velge en annen regresjonsmodell • se boka hvis du har fryktelig lyst. www.gjestad.biz

  22. Homoskedastisitet • Lik utbredelse mht variasjon rundt regresjonslinjen. • Skal være like stor for lave og høye X-verdier • Påvirker standardfeilen og dermed signifikanstesten • Løsning: IKKE-lineære omkodinger. www.gjestad.biz

  23. Normalitet • Variablene normalfordelte • Individuelle restledd skal også være normalfordelte • Hvis ikke: parameterestimatet vil ikke følge t-fordelingen www.gjestad.biz

  24. Utliggere • Brudd på normalitetsfordelingen • Feil i data? Utelukke data • Transformere variabler • Komplisere modellen for å fange opp dette. • Utelukke data? www.gjestad.biz

  25. Fravær av autokorrelasjon. Tidsseriedata • Overse dette. www.gjestad.biz

  26. Når restleddet er korrelert med den uavhengige variabelen • Det skal ikke finnes bakenforliggende årsaksfaktorer til Y som også korrelerer med årsaksfaktoren X. • Både et substansielt og teknisk problem. • Spuriøs korrelasjon og parameterestimatet b kan være sterkt påvirket av den bakenforliggende variabelen. • Problemet er når vi mangler en/flere årsaksfaktorer OG som samvarierer pos/neg med X www.gjestad.biz

  27. Målefeil • I den avhengige variabelen • Jo større feil, jo større utslag i estimeringen • Større residualer. Dette medfører større fare for å ikke få statistisk signifikante funn • I den uavhengige variabelen • Regresjonsparameteren blir underestimert hvis sammenhengen er positiv (b > 0). • Regresjonsparameteren blir overestimert hvis sammenhengen er negativ (b < 0). www.gjestad.biz

  28. Å forklare sosiale fenomener Multippel lineær regresjon (MR) Kap. 10 www.gjestad.biz

  29. Hva man kan oppnå med en multivariat analyse • Finne en fullstendig forklaring/prediksjon av Y? • Finne total prediksjonskraft. • Likning: • Innebærer: • hvis endring i en x, og de andre holdes konstant, så vil Y endres med et visst antall enheter. • Kontroll for alternative prediktorer, eks. spuriøse sammenhenger eller mellomliggende variabler. www.gjestad.biz

  30. Hva kan man oppnå med en multivariat analyse • Eks.: • Timelønn vs. Kjønn. • Mellomliggende variabel: Utdanning • Y = b0 + b1 K + b2 U + e • Finner effekten av Kjønn på Lønn, kontrollert for ulikheter i Utdanning. • Behandlingsresultat vs. Behandlingens lengde • Bakenforliggende variabel: Behandlingsmotivasjon www.gjestad.biz

  31. Tolkning og estimering av parametere i den multivariate modellen • b0: Intercept er den verdien man får når alle prediktorene er satt lik null • b1: Parameteren måler hvor mye Y øker/minker når X1 økes med en enhet, mens alle de andre X-ene holdes konstant/forblir uforandret. • Det samme for b2, b3 osv. • Residualen (e) regnes ut som tidligere. • Det som er igjen uforklart etter at x-ene har gjort jobben. • Y predikert av X og Z • Sirkelforklaring – side 264 www.gjestad.biz

  32. Tolkning og estimering av parametere i den multivariate modellen X Y X Y Z Z X Y X Y www.gjestad.biz

  33. Tolkning og estimering av parametere i den multivariate modellen • Adjustet (justert) R2 • Antall frihetsgrader: df=N-k-1, k=antall uavhengige variabler www.gjestad.biz

  34. Sammenligning av R2 for bivariate og multivariate modeller • Økning i forklart varians avhengig av kovariansen mellom X og Z • Eksempelet i boka: Korrelasjonen mellom X og Z er -0.18 (r2=0.03) • Sirklene forklarer derfor hver sine deler av variasjonen i Y Y Y X Z X Z www.gjestad.biz

  35. Sammenligning av R2 for bivariate og multivariate modeller • Derfor forklarer disse prediktorene i en multivariat modell så godt som like mye som summen av hver enkelt bivariate modell. • Hadde det vært en sterk sammenheng mellom prediktorene, så hadde den multivariate modellen forklart mye mindre enn de 2 enkelte modellene gjorde til sammen. www.gjestad.biz

  36. Konsekvensen hvis en relevant prediktor utelates • En relevant prediktor dersom den påvirker Y • Hvis utelate en relevant prediktor OG som overlapper (korrelerer) lavt med de andre prediktorene: Endring i R2. • Fjerne en relevant prediktor (X2), betyr at denne legges inn i residualen. Hvis denne korrelerer med X1, blir effekten tillagt X1. • Resultatet blir også korrelasjon mellom X1 og e, fordi X2 inngår her. • Betyr at en av grunnforutsetningene er brutt. www.gjestad.biz

  37. Konsekvensen hvis en relevant prediktor utelates • Resultatet blir at b1 blir for høy i den bivariate modellen. • HVIS rx1x2 < 0: b1 blir for liten i den bivariate modellen. • Jo større korrelasjon mellom x1 og x2, jo større skjevhet i estimering av b hvis en x blir utelatt. • Intercept/konstant er når alle x-ene = null. Eks i boka: når utdanning er null OG kjønn = null (menn), mens bivariat modell: bare utdanning=0 www.gjestad.biz

  38. Konsekvensen hvis en relevant prediktor utelates • En reell sammenheng kan bli lik null pga. en bakenforliggende faktor (supressor) • Undertrykker / skjuler en sammenheng, så lenge man bare studerer bivariate sammenhenger. • Side 275 for eksempel • En sammenheng kan også endre fortegn når det kontrolleres for en tredje variabel. • Eks: side 276-283: Kjønnseffekten som forsvant! www.gjestad.biz

  39. Faktorer som påvirker standardfeilen: Kolinearitet • Standardfeilen ved bivariat regresjon er påvirket av: • N • Variasjon i X • Størrelsen på residualvariansene • Ved Multippel regresjon (MR), i tillegg: • Høy korrelasjon mellom X-ene. Multikolinearitet. • Fjerne variabler som overlapper i stor grad (r=.6/.7), som opptrer samtidig www.gjestad.biz

  40. Konsekvenser for standardfeilen hvis en relevant variabel utelates • Dersom vi fjerner en variabel fra regresjons-ligningen og dette fører til at standard-feilen til en eller flere av de gjenværende variablene blir markert redusert, er dette en indikasjon på kolinearitet mellom den variabelen vi har fjernet og den eller dem som har fått mindre standardfeil. www.gjestad.biz

  41. Sammenligning av regresjonsmodeller med F-test • Testing av hver parameter (b) • Testing av hele modeller • Testing av forskjellen mellom modeller • Eks.: gir 2 ekstra variabler et statistisk signifikant bidrag til modellen? • Signifikanstester altså ikke mot null-hypotesen, men mot en alternativ modell ! www.gjestad.biz

  42. Å forklare sosiale fenomener Flere regresjonstemaer: samspill, dummyvariabler, stianalyse Kap. 11 www.gjestad.biz

  43. Innledning • Samspill / Interaksjon – Situasjonsbetinget sammenheng • Effekten av en uavhengig variabel på en avhengig variabel, avhenger av effekten av en tredje variabel. • rY,x1 varierer med ulike nivåer av x2. • Kvalitative variabler kan analyseres med dummyvariabler. • Viser tilstedeværelsen av en egenskap eller ikke (0 eller 1) • Stianalyse: • Flere modeller analyseres www.gjestad.biz

  44. Samspill • Y = b0 + b1x1 + b2x2 + e • Der x2 er kjønn (0 og 1) • Når kjønn er 0: Y = b0 + b1x1 + e • Når kjønn er 1: intercept = b0 + b2 • Resultatet blir 2 parallelle linjer • Hvis empiri tilsier avvik fra 2 parallelle linjer: samspill www.gjestad.biz

  45. Samspill – Analyseres ved å: • Dele data i 2 utvalg (forskjellige intercept og slope), eller: • Lage interaksjonsvariabel (produktledd): x3 = x1 * x2 • Både intercept og slope kan bli forskjellige www.gjestad.biz

  46. Samspill • x1 og x2 er hovedeffekter • x3 er en interaksjonseffekt. • Mulig å få x1 og x2 = 0, mens x3 stat. signifikant • Se side 304 • Sammenligning av modell med og uten samspillsledd • side 306-308 • Forandring i R2 / F www.gjestad.biz

  47. Dummyvariabler • En indikator som viser om en egenskap er tilstede eller ikke (1 eller 0). • En kvalitativ variabel med flere kategorier kan deles opp i antall kategorier – 1 nye dummyvariabler. • Side 315 • Gruppetilhørighet kan også spesifiseres • Eksp.gruppe = 1, kontrollgruppe = 0 www.gjestad.biz

  48. Modellering av kausale systemer: Stianalyse – strukturelle ligningsmodeller • Flere avhengige variabler – endogene variabler • Flere prediktorer – eksogene variabler • Direkte og Indirekte stier • SEM: • Observerte og latente variabler • Multisample analyser • Latent vekstmodeller www.gjestad.biz

More Related