1 / 12

Presentatie AC groep 13/11/2000

Begripsvaliditeit van AC-Dimensies: Een Meta-Analyse Marise Ph. Born, Nanja J. Kolk, en Henk van der Flier Afdeling Arbeids- en Organisatiepsychologie Vrije Universiteit Amsterdam.

breck
Download Presentation

Presentatie AC groep 13/11/2000

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Begripsvaliditeit van AC-Dimensies:Een Meta-AnalyseMarise Ph. Born, Nanja J. Kolk, en Henk van der FlierAfdeling Arbeids- en OrganisatiepsychologieVrije Universiteit Amsterdam gebaseerd op:Born, M.Ph., Kolk, N.J., & Van der Flier, H. (2000) A meta-analysis of Assessment Center construct validity. Paper gepresenteerd op de 15th annual conference of the Society for Industrial and Organizational Psychology, New Orleans, 14-16 April. Presentatie AC groep 13/11/2000

  2. Samenvatting Deze meta-analyse van 34 begripvaliditeits (BG)-studies leverde een gecorrigeerde convergente validiteit (CV) van 0.35 een gecorrigeerde discriminante validiteit (DV) van 0.69 Binnen de groep studies speciaal ontworpen om de BG te verbeteren, resulteerde meta-analyse in een verbeterde DV (0.56) Echter, CV werd nauwelijks beïnvloed, (0.41), behalve als het beoordelingsproces werd aangepast (0.64)

  3. Literatuuroverzicht AC’s slagen er niet in een goede BV te laten zien: • beoordelingen op dezelfde dimensies in verschillende opdrachten correleren laag lage convergente validiteit • beoordelingen op verschillende dimensies in dezelfde opdracht correleren hoog lage discriminante validiteit Veel pogingen gedaan om discriminante en convergente validiteit te verbeteren. Effect bekeken van o.a.: • dimensiekenmerken (observeerbaarheid, transparantheid…) • beoordelingsformat • vorm en inhoud van opdrachten • beoordelingsproces

  4. Doel Dit paper probeert een antwoord te vinden op de volgende drie vragen: (a) Hoe laag is de begripsvaliditeit van het AC? (b) Hebben pogingen daartoe de BV inderdaad verbeterd? (c) Zijn er veelbelovende onderzoeksroutes?

  5. Methode Opzoeken Literatuur • 43 studies van 1980 - 2000, gepubliceerd en ongepubliceerd • 9 studies eruit (7 lab studies met slechts enkele kandidaten and vele assessoren; 2 studies met onvolledige statistische informatie) Coderen van 34 Studies (N=8756; 39 coëfficiënten) • 20 puur descriptieve studies • 14 studies wilden BG verbeteren (11 studies een controle en experimentele groep; 3 studies alleen een experimentele groep)

  6. De 14 studies werden gecodeerd voor het AC-aspect dat was gemanipuleerd: beoordelingsformat, beoordelingsprocess, dimensiekenmerken, en opdrachtvorm en -inhoud Analysemethode • Stauffer’s 1996 MetaDOS programma • Correctie voor steekproeffouten: versie van wegingssysteem van Huffcutt et al. (1996) • Puntschatting van 0.80 voor attenuatiecorrectie • Drie homogeniteitsindices voor uitkomstenverdeling

  7. Resultaten(a):Hoe Laag Is de Begripsvaliditeit? • Een niet te lage convergente validiteit: gecorrigeerde convergente validiteit = 0.35 (90% CI from 0.20 - 0.52). Dus redelijke binnen-dimensie-tussen-opdrachten correlaties • Erg zwakke discriminante validiteit: gecorrigeerde discriminante validiteit = 0.69 (90% CI van 0.52 - 0.87). Dus binnen opdrachten een hoge samenhang tussen dimensies

  8. Resultaten (b): Leveren Pogingen daartoe een Verbeterde BV? • Convergente validiteit verbeterde van 0.35 tot 0.51 • Echter, slechts wijziging in rating process is hiervoor verantwoordelijk (rc=0.64) • Aldus verhogen van CV is misleidend (zie discussie). Andere design modificaties geenbetekenisvoleffect (rc=0.41) • Discriminante validiteitverbeterde van 0.69 tot 0.56. Modificaties in beoordelingsformat, dimensie-kenmerken, en beoordelingsproces evenveel effect

  9. Resultaten(c ): Zijn er Veelbelovende Onderzoeksroutes? • Onze keuze: verdere verbetering DV (CV lijkt plafond-waarde te hebben bereikt, muv agv het wijzigen van het beoordelingsproces) • We maximaliseerden onafhankelijkheid tussen dimensies: AC-dimensies uit primaire studies verdeeld in interpersoonlijke stijl en performance stijl categorieën (Shore et al., 1990) Resultaat: verdere verbetering van DVvan 0.56 naar 0.44. Zoals verwacht, werd de CV niet beïnvloed

  10. Discussie • Beste schatting convergente validiteit is 0.40 • Uitzondering is wijziging in AC beoordelingsproces • Wijziging in beoordelingsproces  onbedoelde rater halo over opdrachten • Een niet-verbeterde CV: plafond effect conventionele AC-design? • Substantiële verbetering DV - wellicht verdere verbetering DV in toekomst?

  11. Toekomstig Onderzoek • We stellen voor: een mtmm-onderzoeksdesign waarin voor elke kandidaat-dimensie-opdracht combinatie een verschillende groep assessoren • Dit design bevat geen ongewenste commonmethodvariance (rater halo) over opdrachten en over dimensies binnen opdrachten • Een optioneel design voor hogere CV komt uit Cervone (1999): kandidaten kiezen op voorhand hun opdrachten, volgens hun eigen oordeel over de relevantie

  12. Conclusie • Convergente en discriminante validiteit worden beïnvloed door ongelijke kenmerken van het AC design • Het Campbell en Fiske (1959) criterium, i.e. een directe vergelijking van convergente en discriminante validiteit, pas strikt nemen totdat de vergelijking een eerlijke is

More Related