1 / 25

DE KROONJUWELEN VAN HET AC, SIMULATIES: VAN MARGINALE TOT GROTE BIJDRAGE.

DE KROONJUWELEN VAN HET AC, SIMULATIES: VAN MARGINALE TOT GROTE BIJDRAGE. WAAROM AC en SJT WERKEN….soms meer, soms minder….van high naar low fidelity simulation… Rendel D. De Jong,. Uitgangspunten en bevindingen van Lievens en

erasmus-hutchinson
Download Presentation

DE KROONJUWELEN VAN HET AC, SIMULATIES: VAN MARGINALE TOT GROTE BIJDRAGE.

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. DE KROONJUWELEN VAN HET AC, SIMULATIES: VAN MARGINALE TOT GROTE BIJDRAGE. WAAROM AC en SJT WERKEN….soms meer, soms minder….van high naar low fidelity simulation… Rendel D. De Jong,

  2. Uitgangspunten en bevindingen van Lievens en • Patterson (2011), tegen de achtergrond van die van • Hunter en Schmidt (1998). • 2. De bevindingen in breder perspectief • 3. Consequenties voor onderzoek en praktijk?

  3. LIEVENS en PATTERSON (2011, JAP): Voor het eerst in een onderzoek gecombineerd: KENNIS-TEST (huisarts-diagnostische kennis) SJT (multiple-choice test omgang patienten/collega’s) AC-kroonjuwelen (rollenspellen dokter-patient, groepsdiscussie, postbak) Als predictoren van JOB PERFORMANCE (beginnende GP’s, vgl huisartsen, rating supervisor)

  4. Algemene gedachte: Declarative Knowledge (kennistoets Diagnostiek & Behandeling) Ass.Center JOB communicationperform. etc, zie SJT rating Procedural Knowledge SJT, communication, empathy, Integrity, coping withpressure, probl.solving Idee: gedrag gedrag, high-fidelity>low-fidelity

  5. Ontwikkeling instrumenten: -KNOWLEDGE TEST Item bank ontwikkeld door opleiders GP’s met grote ervaring, met item-schrijf-training door psychologen. Reliability .88 -SJT/AC “Job analysis”, door Critical Incidents Focus Groups, 35 ervaren GP’s, observatie 33 GP-patient consults, Critical Incident interviews met 21 patienten. Leidde tot identificatie van 11, uiteindelijk 6 ”Competency Domains”: Empathy, Communication, Problem Solving, Professional Integrity, Coping with Pressure & Clinical Expertise. Voor SJT op basis van de eerste 5 competency domains door 20 ervaren GP’s 50 items geproduceerd. Alpha-coefficienten Domain-schalen .35-.64 Voor AC zelfde domains gerepresenteerd in doctor-patient rollespel, groepsdiscussie, postbak. Hoogste alpha .32 !!?!? HOE KAN DAT OOIT WAT WORDEN qua VALIDITEIT??????

  6. KENNIS TEST: “Clinical Problem Solving” (diagnostiek, mgt) Voorbeeld: dame 70 jr, verduisterd gezichtsvermogen, gewichtsverlies, pijn bij het kauwen, onlangs niet goed geworden… diagnose? Basilar migraine, Retinal detachment etc SJT “low fidelity simulation on the job tasks” Voorbeeld: in de avond blijkt dat meneer, 75 jr, door specialist voorgeschreven 7.5 mg methotrexate per dag, ipv per week Wat te doen? -vragen aan zuster: specialist wel vaker fouten gemaakt? -zelf dosis corrigeren -niets doen, zo laten -specialist thuis bellen AC“high fidelity simulations” -Rollenspel dokter-patient (acteur) -Groepsdiscussie “work-related issue” -”Written Planning Exercise” (“Postbak”?)

  7. CRITERIUM PREDICTOR 1 PREDICTOR2

  8. CRITERIUM Of: “false consensus”, “folie a deux” etc.. “illusory transitive memory”, “situational awareness” gedeeld maar fout levensgevaarlijk Test met hoge Alpha-coeff., geen beste criterium validiteit PRED.1 PRED.2

  9. CRITERIUM PREDICTOR1 PREDICTOR2 Prima criterium validiteit, alpha zero….

  10. CRITERIUM PREDICTOR1 Onenigheid, hopelijk inhoudelijk, tijd voor open consultatie, “speaking to the room”, assertiviteit PREDICTOR2

  11. Uitkomsten: Declarative Knowledge (kennistoets) 30 36 50 Ass.Center 30 JOB perf. 43 rating 37 Procedural Knowledge SJT, communication, etc Correlaties…..volgens het verwachte patroon?

  12. Enige aanvullende gegevens … -Hierarchische regressies (range restriction correctie): alle drie predictoren dragen bij, AC minst sterk, beta Rsq • Knowledge test .249 .294 • Low Fidelity simulation (SJT) .250 .359 • High Fidelity simulation (AC) .197 .374 -Structural Equation Modeling: verwachte model partieele mediatie als beste keus uit de bus…(zie figuur). De veronderstelde latente AC en SJT factoren lijken betrouwbaar gemeten…. -AC voegt weinig toe boven de SJT wanneer het alleen om de klinische kant van de prestatie gaat

  13. Uitkomsten: Declarative Knowledge (kennistoets) 30(07) 36(19) 50 (78) Ass.Center30(21) JOB perf. 43(66) rating 37(33) Procedural Knowledge SJT, communication, etc Correlaties (parameter estimateshypothesized model)

  14. Conclusies Lievens & Patterson (2011) A. Practical Contributions: -”all three predictors valid in avanced level selection”, speciaal interessant: SJT niet minder valide dan “high-fidelity” simulation” AC…..”even somewhat higher” • Ook leuk: SJT prediceerd incrementeel boven kennistest • Ook dure “high fidelity” AC mogelijk zijn geld waard, als kandidaat moet tonen in staat te zijn procedurele kennis om te zetten in gedrag - High fidelity van belang bij non-cognitieve aspecten prestatie maw niet-clinisch (blijkt uit klein hoekje additionele analyses) I

  15. Conclusies Lievens & Patterson (2011) B. Theoretical Contributions: -alle soorten simulaties hebben hun nut -oorspronkelijke model als volgt aan te passen: declarative ->procedural->AC performance-> job performance knowledge knowledge VANUIT HET PERSPECTIEF Schmidt & Hunter 1998…….enkele PUNTEN VAN REFLECTIE…….

  16. REFLECTIE • Met betrekking tot de UITGANGSPUNTEN : -gedrag voorspelt gedrag, -high-fidelity simulations(AC, work sample zijn meer valide dan low-fidelity simulation valt eea af te dingen, want: • Met rating werkprestatie als criterium wordt .37 validiteit alleen gevonden voor combinatie (oefeningen+”IQ”+Interview en correctie voor vermeende betrouwbaarheid van het criterium. is de criteriumvaliditeit slechts .17 (of “4 %) (nb hogere validiteit met criterium “career advancement”) b. Job Knowledge centraal in “theory of Job performance”, (S&H, 1998), op grond resultaten Schmidt ea, 1986… c.Meta-studies SJT->Job perf. .15-.30 (Christian ea, 2010) Work Sample -> Job perf. .25-31 (Roth ea, 2005)

  17. Schmidt, F. L. & Hunter, J. E. (1998). The validity and utility of selection methods in Personnel Psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 124, 262-274. politie 4 november 2009

  18. THEORIEvanEFFECTIEFPRESTEREN Schmidt & Hunter, Psychological Bulletin, 1998 Algemene Intelligentie Job Knowledge Prestatie Moderator: complexiteit functie; hoe complexer, hoe sterker De predicerende werking van intelligentie.

  19. Job knowledge test GMA (“IQ”) 46(46) 42(34) Rating (Job) Performance 37(09) Work sample Performance Schmid ea, oa JAP, 1986 armor crew, armor repair man supply specialist, cook, US Army. Correlaties (path-coefficients VET)

  20. Conclusies Lievens & Patterson (2011) A. Practical Contributions: -”all three predictors valid in avanced level selection”, speciaal interessant: SJT niet minder valide dan “high-fidelity” simulation” AC…..”even somewhat higher” EERDER OMGEKEERDE TE VERWACHTEN??? TE VERKLAREN: HOGE VALIDITEIT AC…. • Ook leuk: SJT prediceerd incrementeel boven kennistest • Ook dure “high fidelity” AC mogelijk zijn geld waard, als kandidaat moet tonen in staat te zijn procedurele kennis om te zetten in gedrag - High fidelity van belang bij non-cognitieve aspecten prestatie maw niet-clinisch (blijkt uit klein hoekje additionele analyses) I

  21. REFLECTIE vanuit perspectief ontwikkelingen in SJT: Uit meta-studie Christian ea (2010) komt naar voren: -merendeel onderzoekers behandelen SJT alsof ze een enkel construct “situational judgement” meten, geen specifieke constructen, (met specifieke KSAO’s). Gunstige Uitzonderingen: teamwork-skills, leiderschapsvaardigheden. (Morgeson, 2005, Mumford ea 2008). Paradox: team skills niet alleen predictief voor contextual, ook task performance

  22. Morgeson et al., 2005, arbeiders staalfabriek Teamwork knowledge sjt (Campion ea) (mede gebaseerd op resultaten onderzoek conflict hantering). WAAROM PREDICEERT TEAMWORK KNOWLEDGE TASK PERFORMANCE (rating supervisor)????

  23. REFLECTIE vanuit perspectief ontwikkelingen in SJT: Algemene probleem in selectie psychologie, focus op methode, in plaats constructs, inhoud (Schmitt & Chan, 2006, Christian ea, 2010) beperkt ook de sterkte van de theoretische bijdrage van Lievens en Patterson (2011), punt het aangepaste model… Theoretical Contributions vlgs Lievens en Patterson: 1. -alle soorten simulaties hebben hun nut wel op deze manier: inhoudsdeskundige constructeurs 2. -aangepaste model: declarative ->procedural->AC performance-> job performance knowledge knowledge Niet zo gelukkig, evenmin idee methode als latente trek

  24. HOE VERDER?? -Bij ontwikkelen en toepassing SJT’s (AC) simulaties, zowel in het kader van selectie als ontwikkeling, meer diepgaande job analyse, expliciteren werkprocessen (van procedureel naar declaratief en vice versa) en de daarbij benodigde KSAO’s. Vermijden “usual suspects”, dimensies “plannen en organiseren” etc Eigenlijke KSAO’s daardoor “lost in translation”

More Related