Bruk av måleinstrumenter Indekser / skala

1. Bruk av måleinstrumenterIndekser / skala Rolf

2. Måling og Forskning (Kap. 2)Vitenskap umulig uten måling • Måling for å beskrive, differensiere, forklare, predikere, diagnostisere, foreta valg. • Mange mål er indirekte. • Fenomenet blir ikke målt direkte. Vi tror at vi måler fenomenet på bakgrunn av en indikator / sum-skåre • Fokus noen aspekter ved individene, andre ignorert • Forskjellige definisjoner - forskjellig klassifisering

3. Måling og Teori • Hva som er relevant å måle bestemmes innen en teori. Måling impliserer teori om operasjonene av variablene og teori om relasjonene mellom variablene i forhold til fenomenet. • Hvilke variabler som skal måles. • Hvordan variablene skal måles. • Latente variabler vs. Manifeste variabler

4. BegrepsvaliditetUtsagn/spørsmål - Begrep Teoretisk Begrep 1 Teoretisk Begrep 2 Latente variabler Empirisk Begrep 2 Empirisk Begrep 1 ? Observerte variabler x1 x2 x3 x4 x5 x6 e e e e e e

5. Målings-skalaer: Nominal-skala • Klassifisering / Kategorisering av objekter. • Kvalitative forskjeller. • Lik på en eller flere egenskaper – ulike på andre. • Forskjellig type, men ikke rangering • Eks.: Kjønn, Student-ikke student, Symptom-ikke symptom.... • Kategoriene må være uttømmende og gjensidig utelukkende • Eks.: Sivil status: Gift, Samboende, Enslig. • Andre/annet-kategori

6. Målings-skalaer: Ordinal-skala • Kvantitative forskjeller: Rangering i mer/mindre • Avstanden mellom hver kategori er nødvendigvis ikke like stor. • Kan ikke fastslå hvor mye differansen er. • En person kan derfor ikke skåre dobbelt så mye som en annen. • Eks.:  I stor grad  I noen grad  I liten grad  Ikke i det hele tatt  Aldri  Sjelden  Av og til  Ofte

7. Målings-skalaer: Intervall • Forskjellen mellom tallene er meningsfulle. • Avstanden mellom hvert tall er like store. • Eks.: Temperatur: Differansen mellom 5-10 C er like stor som differansen mellom 10-15 C • Ikke absolutt nullpunkt. Nullpunktet er tilfeldig. • Eks.: 80C/40C  176F/104F • 10C ikke dobbelt så varmt som 5C.

8. Målings-skalaer: Ratio-skala • Som for intervall-skala, men også med et absolutt null-punkt. Indikerer fravær av egenskapen. • Eks.: Vekt og høyde. • En person kan være dobbelt så lang eller halvparten så lett som en annen.

9. Indikatorer og Målingsnivå • Observerte data på ordinal-nivå, den underliggende egenskapen på intervallnivå (kontinuerlig) – en teoretisk antakelse. • Flere enkeltspørsmål på ordinalnivå blir til en dimensjon på intervallnivå (Personlighetsmål).

10. Måle-nivå og Analysemetode • Er målene på ordinal- eller intervall-nivå? • Konsekvens for analyser: • Ikke gjennomsnittsverdier og standardavvik hvis ordinal-nivå • Skala-nivået bestemmes ut fra en teoretisk kontekst • Vanligvis greit å bruke matematiske metoder og statistikk som er tilpasset intervall-skala • Nunnally, 1978

11. Fra ordnede kategorier til normalfordelte kontinuerlige variabler Strukturelle likningsmodeller: • Terskel-verdier + asymptotisk kovariansmatrise • 2 variabler med 3 eller flere variabler • polykorisk korrelasjon. • 2 variabler med 2 kategorier • Tetrakorisk korrelasjon • Flere varianter.

12. Tolkning av resultater Måling  Statistikk  Hypotesetesting • Måleinstrumentets kvalitet påvirker resultatene fra statistiske analyser. • Hvor meningsfulle resultatene fra data-analyser er kan IKKE skilles fra egenskaper ved måleinstrumentet som ble brukt for å gi oss tallene. • Utgangspunktet for analysene = meningsløse tall. Da er resultatet av analysene også meningsløst.

13. Tolkning av resultater • Spesielt vanskelig når bruke sum-skårer, hvis kvaliteten av disse ikke kan vurderes fordi informasjon om dette mangler. • Bruk av sum-skårer kan være problematisk: • Ofte blir flere ledd slått sammen i en skåre. Informasjon kombineres. • Hva blir resultatet? • I tillegg vektes alle variabler likt • Vurdering av en skala: Data-analyse eller holder det med logisk analyse?

14. Frukt-teorien = 4 Frukt = 4 Frukt = 4 Frukt = 4 Frukt

15. Kriterievaliditet (Kap. 3) • Validitet handler om betydning og definisjoner • et måleinstrument skal ha mening, • være brukbart, • representativt, • gyldig. • i forhold til hva? • Relatert til definisjoner. • Da mulig å foreta slutninger fra test-skårer. • Validering er en viktig del av forskningen. Metode 1 - Kap. 3 - Rolf G.

16. Validitet – Vanlig Feiloppfatning • Validering referer ikke til målene i seg selv, men slutninger som blir gjort på basis av de observerte skårene. Vi validerer ikke testen, men tolkningen av data som framkommer ved hjelp av en spesifisert prosedyre (Cronbach, 1971) • Tolkningen er mer/mindre valid avhengig av: • hensikten med kartlegging, • respondenter / utvalg / grupper, • omstendigheter og prosedyrer • historisk utvikling (over tid) Metode 1 - Kap. 3 - Rolf G.

17. Klassifisering av validitet: • Innholdsvaliditet • (Face / content) – et område/tema (eks.: jobbprestasjon) • Begrepsvaliditet • Trekk/psykologisk/psykiatrisk dimensjon (eks.: mental evne, holdning, motivasjon, lidelse) • Teori • Kriterievaliditet • Utslag/resultat og prediksjonsverdi (eks.: karakter) • Teoriløs: Prediksjon vs. Forklaring • Psykoteknologi vs. Psykologisk teori Metode 1 - Kap. 3 - Rolf G.

18. Begrepsvaliditet (Kap. 4) • Konstrukt – konstruksjon (abstraksjon) • Validering – aktiv prosess • Definisjon av / gi mening til et begrep. • Teori om relasjonen mellom det observerbare og abstrakte begreper • Begrepene igjen inngår i et teoretisk nettverk. • Teori om relasjonene mellom begrep • Organisering av begrep

19. Begrep og Indikator • Konstruktvalidering: Validiteten/gyldigheten til slutninger om uobserverbare variabler (begreper/ Latente variabler) på bakgrunn av observerbare variabler (observerte variabler). • ”Et begrep uten virkelig innhold er tomt - Data uten begrep er blinde data." (Immanuel Kant) • Eks: Selvbilde og maskulinitet / femininitet (Nicholls et al.)

20. Begrepsvaliditet:Utsagn/spørsmål - Begrep Teoretisk Begrep 1 Teoretisk Begrep 2 Latente variabler Empirisk Begrep 2 Empirisk Begrep 1 ? Observerte variabler (indikator) x1 x2 x3 x4 x5 x6 e e e e e e

21. Begrepsvaliditet:Tid, sted og kontekst • Betydningsforskjeller? • grupper • steder • kulturer • subkulturer • Tid: Forandre seg over tid pga. historiske hendelser, forandringer i normer, økonomiske betingelser....

22. BegrepsvaliditetBegrep over utvalg / tid Latente variabler Begrep 1 Begrep 1 Observerte variabler x1 x2 x3 x4 x5 x6 e e e e e e

23. Reflektive vs. Formative Indikatorer • Reflektive og Formative Indikatorer • Reflektiv indikator: Indikator som effekt av begrepet.  • I begynnelsen var begrepet • Formativ indikator: Indikator som årsak til begrepet.  Refl begrep Form begrep i1 i1 i2 i3 i2 i3 e e e

24. En eller flere Indikatorer? • Bare 1 variabel som indikator på et begrep = TRØBBEL ! • Også et klinisk problem: Angst vs. depresjon. • Årsak: Umulig å identifisere ulike kilder med informasjon (og variasjon) i indikatoren. • Eks.:

25. En eller flere Indikatorer? • Observert skåre = Sann skåre + Feil skåre (Systematisk variasjon + Tilfeldig / ikke-systematisk variasjon) • Hvis studere relasjonen mellom 2 begrep, som begge blir målt med 1 variabel hver: • da: rindikator,begrep = 1.0 for hvert par. • en relasjon mellom 2 observerte variabler representerer relasjonen mellom 2 begreper. • Dette bygger på antakelser: • Obs. variabel måler begrepet • Feilfri måling av begrepet

26. Test-konstruksjon- også vurdering av tester • Definisjoner • Testledd-innhold (items) • Målingsmetode • Betingelser for måling • Retningslinjer for respondentene • Skåringsprosedyrer

27. Definisjon av begrepet • Presis definisjon? Logisk konsistent - Teori • Prosedyre: • Hva består det av? Inkludere testledd • Hvordan testledd relatert til andre begrep? Ekskludere. • Definere underdimensjoner av begrepet og forholdet mellom disse: • Høy på en, høy på en annen: hierarkisk faktorstruktur • Høy på en, lav på den andre: Bipolar • Ingen relasjon mellom disse begrepene: Unipolar:

28. Testledd (items) • Spørsmålene/utsagnene som fungerer som indikatorer på et bestemt begrep er et utvalg av alle tenkelige ledd som kunne tenkes å representere dette begrepet. • Trekker ut (sampler) ledd fra et domene = Skrive ledd (spørsmål / utsagn). • Styrt av definisjonen av begrepet. Sjekke om konsistent med definisjonen.

29. Testledd (items) • Prosedyre • Finn mange testledd. • Seleksjon. Er testleddet representativt for begrepet? Hvilke spørsmål / utsagn måler begrepet best? • Vanskelige uttrykk? • Klart, enkelt og tydelig formulert? • Vurdere i forhold til målgruppen

30. Testledd (items) • Én betydning (ikke flertydig)? • Jargong • Antagelser om kunnskap som respondenten kanskje ikke har? • Farget av sosial ønskverdighet? • Ledende • Sensitive forhold? • Tvetydige spørsmål / flere meninger i samme setning. Se etter og/eller i testledd.

31. Svarkategori • Hvilke kategorier? Jfr. begrep. • Frekvens • Intensitet • Mengde • Skåringen må også sees i forhold til begrepet som skal måles. • Kontinuerlig skala (ordinal-nivå)? • Unngå nominalt nivå (eks.: ja/nei-kategorier)? • Spredning - Normalfordelt?

32. Svarkategori • Kombiner svarkategoriene med utsagnet / spørsmålet? Logiske kombinasjoner? • Eksempler: • Aldri - ? - Alltid • Svært ofte - ? - Svært sjelden • Stemmer helt - ? - Stemmer ikke • Svært lite - ? - Svært mye • Også svarkategorier kan ha flere betydninger. • Eks.: Helt sikker ja - sannsynligvis ja - vet ikke - sannsynligvis nei - helt sikkert nei • NEI = 0, VET IKKE = 1 og JA = 2 ?

33. Målingsprosedyre • Retningslinjer for gjennomføring, • item rekkefølge • ordlegging • Administrasjonsbetingelser - Anonymitet • Respons-set (Stort sett enig / uenig): Bruk både positive og negative utsagn.

34. Faktoranalyser av Indre Struktur • Korrelasjonsmatrise / kovariansmatrise • Metode for å finne underliggende (latente) variabler som befinner seg "bak" et sett med relasjoner mellom observerbare variabler. • Ulik vekting av de enkelte variabler – Faktorladninger • Relasjon mellom hver indikator og faktor • Eksplorerende (PCA og EFA) og Konfirmerende faktoranalyse (CFA)

35. Faktoranalyser av Indre Struktur - CFA • Input: kovarians-matrise • Tester modeller • Alternative forklaringer • Flere modeller kan passe data • Output: kovarians-matrise • Informasjon i matrisen • Tilpasning (goodness of fit): Hvor godt passer disse to matrisene? Hvor mye blir igjen uforklart? • Generaliserbart til populasjonen?

36. Kryss-struktur Analyse • Relasjon til andre begrep • Konvergende validitet • Flere metoder som skal måle samme begrep gir samme resultat • Diskriminerende validitet • Flere metoder som skal måle forskjellige begrep gir forskjellige resultat • Undersøke et begrep med flere metoder • Multitrekk - Multimetode Matrise (MTMM)

37. Reliabilitet (Kap. 5)Pålitelighet, stabilitet • Reliabilitet i Måling og Forskning • God reliabilitet er viktig • Reliabilitet er en nødvendig, men ikke en tilstrekkelig, forutsetning for validitet. • Reliabilitet  Validitet

38. Repeterte målinger som mål på reliabilitet • Problem: repeterte målinger ikke meningsfullt for mange variabler. • Reelle endringer • Vi forandrer oss – Modning • Situasjonen endres • Rep. målinger gir informasjon. Læring og Hukommelse

39. Klassisk Test-teori • Observert varians = Sann varians + Feil varians • Testskåre = Sann skåre (Begrep) + Tilfeldig skåre • Antakelse: Begrepet som blir målt er systematisk og at målefeil er tilfeldig. • Forskjeller mellom individer på en testskåre vil derfor være en følge av sann forskjell og/eller som følge av feil. • Reliabilitetskoeffisienter er et mål på forholdet mellom sann skåre og observert skåre.

40. Klassisk Test-teori • Variansmål: Hvor mye av den totale variansen er systematisk? (.80 = 80% systematisk og 20% feil) • Eller: Relasjonen (korrelasjonen) mellom obs.skåre og skåren på en latent teoretisk variabel: Reliabilitetsindeks = Teoretisk validitet.

41. Reliabilitet og Utvalg • Reliabiliteten er utvalgsspesifikk. • Samme instrument mer/mindre reliabel, avhengig av variasjonen i populasjonen. • Ikke bruk bare reliabilitetskoeffisienten som er oppgitt med instrumentet da det ble konstruert. Dette bare for sammenligning. • Bruk reliabilitetskoeffisienten for dette utvalget. • Grunnlag for beregning av statistikk.

42. Typer reliabilitet:Parallelle mål • Hvordan? Bruk korrelasjonen mellom to mål på begrepet som et estimat på reliabilitet. • Forutsetning: De to målene er like = Parallelle. • Men: sjeldent tilfelle ! • Dele opp skalaen i 2: Split-half Reliabilitet • Problematisk metode. • Dele testen i to - Relatere delene til hverandre

43. Like skjema / instrumenter • Korrelere skårene fra 2 forskjellige skjema som er laget for å måle det samme. • Forutsetning: Skjemaene er parallelle. Usikkert. • Koeffisienten reflekterer ikke bare reliabiliteten, men også om de to delene måler det samme. • Tidsintervall mellom de 2 målene? Midlertidig / varige endringer hos individene?

44. Typer reliabilitet:Test – retest • Gi samme instrument 2 ganger og korrelere disse. • Måler stabilitet • Forutsetning: • Korrelasjonen mellom de to målingene reflekterer en underliggende uobserverbar sann skåre som er konstant – egenskapen har altså ikke forandret seg • Korrelasjonen vil være mindre enn perfekt i den grad tilfeldige feil i instrumentet har forekommet. • Og måler vi egentlig stabilitet? Stoolmiller: kritikk av autoregressive modeller

45. Typer reliabilitet:Test – retest • Carry-over effekt - Overestimerer stabiliteten. • Redusere overføringseffekten: Øke tidsintervallet • Skape nytt problem: Virkelige forandringer • Lav test-retest fordi: lav reliabilitet / virkelige forandringer.

46. Indre konsistens- en bedre metode • De andre formene: • Kontakte individene 2 ganger • Samarbeid når samme målet igjen eller to like mål. • Bedre med en administrasjon. • Instrument m/ flere ledd som måler samme begrep.

47. Item-varians Total-varians Indre konsistens Cronbach’s alpha • Homogenitet: Testleddene måler det samme. • Fokus: Hva testleddene/komponentene har felles. Se på relasjonen mellom alle komponentene.

48. Indre konsistens Oppsummert: • Jo flere testledd, jo høyere alpha • Jo sterkere korrelasjoner (kovarianser), jo høyere alpha.

49. Alpha for dikotome testledd • Tap av informasjon • Lavere alpha

50. Homogenitet i skalaen og indre konsistens • En eller flere dimensjoner? • Homogene testledd - Generell faktor ligger bak og forklarer relasjonen mellom disse. Har god indre konsistens. • Men: Et instrument som har god indre konsistens trenger ikke å være homogent • Generell faktor og spesifikke faktorer, som 2 eller flere faktorer som forklarer interkorrelasjonene. • Høy alpha ikke et bevis for homogenitet.