Elaborarea instrumentelor de diagnostic psihologic

1. Elaborarea instrumentelor de diagnostic psihologic Strategii și metode

2. De ce ne-ar interesa? • Să înțelegem cum funcționează probele psihologice; • Să înțelegem ce se poate și ce nu se poate măsura în psihologie; • Să înțelegem limitele unui diagnostic psihologic; • Să putem fi acoperiți științific atunci când dăm un aviz psihologic; • Să înțelegem diferențele dintre probele profesionale, cu valoare diagnostice, cele folosite în cercetare și cele de divertisment.

3. Despre ce vom discuta? • Cum se proiectează și se conduce o evaluare psihologică profesională; • Ce fel de instrumente avem la dispoziție în evaluarea psihologică; • Ce înseamnă a măsura în psihologie și ce se poate măsura; • Ce sunt constructele psihologice și cum se operaționalizează; • Ce sunt itemii, timpurile de itemi și elaborarea lor; • Ce este un spațiu de răspunsuri, cum se asociază spațiul de răspunsuri unui item; • Modelul de măsură în psihologie. Principalele modele de măsură, limite și avantaje. • Ce înseamnă o probă psihologică bună. Ce trebuie să urmărim atunci când cumpărăm sau folosim o probă psihologică.

4. Caracteristicile evaluării psihologice • Evaluarea psihologică = demers științific centrat pe cunoașterea aprofundată a persoanei. • Funcții ale psihodiagnosticului: • Predictivă – Informații din probe + Experiența și arta psihologului = predicții ale comportamentului în anumite situații; • Orientativă – adecvarea subiectului la sarcină; • De orientare a terapiei – identificarea problemelor subiectului în vederea alegerii soluției de intervenție terapeutică; • Secundară în cercetarea științifică – construcția planului de cercetare, atribuirea subiecților în grupe de cercetare și parte integrantă din demersul de cercetare.

5. Etape ale demersului psihodiagnostic • Discuția preliminară și programarea • Stabilirea scopului și a caracteristicilor evaluării psihologice, înțelegerea naturii solicitării; • Construcția strategiei de evaluare și analiza capacității de realizare; • Comunicarea informațiilor relevante către subiect și programarea prezenței pentru evaluare; • Un examen psihologic nu poate dura mai puțin de 100-120 de minute!!! • Anamneza • Discuție semidirijată între 15 și 45 de minute în funcție de specificul evaluării; • Identificarea unor elemente în istoricul subiectului care ar putea exercita efecte asupra subiectului în prezent; • Crearea unui climat de încredere și cooperare și eliminarea inhibițiilor inițiale.

6. Etape ale demersului psihodiagnostic • Administrarea probelor • Probele și ordinea se stabilesc de psiholog. Nu există metodologie pentru… • Se respectă întocmai consemnul de administrare. • Psihologul joacă rolul unui observator activ. • O sesiune de evaluare cu probe nu depășește 3-4 ore, cu pauze de 10-15 minute după fiecare oră; • Seriile nu pot depăși 30 de subiecți din cauza dificultăților observării unor grupe mari de subiecți; • Strategia dificil ușor vs. Strategia ușor-dificil; • Probele proiective se administrează la final • Finalizarea evaluării • Discuție finală – durată variabilă (prezentarea pentru obținerea documentului, dacă mai are alte probleme, comentarii etc.)

7. Etape ale demersului psihodiagnostic • Analiza informațiilor și protocolul de evaluare • Protocolul de evaluare = document complex reprezentând oglinda evaluării psihologice. • Date personale, scopul și data evaluării, probele folosite, durata evaluării; • Anamneza transcrisă după înregistrarea audio sau după notițe; • Rezultatele probelor pentru fiecare probă (scoruri brute și standard, interpretare, profil) cu prezentarea caracteristicilor modelului de măsură folosit; • Descrierea comportamentului subiectului în timpul probei (verbali, nonverbali, paraverbali și comportamentali); • Rezultatele discuției finale; • Concluzii referitoare la tendințele subiectului, diagnosticul final, sugestii și recomandări; • Este un document strict de uz intern pentru psiholog și stă la baza elaborării avizului psihologic și a sumarului evaluării; • Sumarul evaluării = document pentru nespecialiști în care se prezintă ÎN TERMENI COMUNI concluziile, recomandările și sugestiile • Avizul psihologic poate fi constatativ sau decizional.

8. Instrumente de diagnostic psihologic • NU TOATE SUNT TESTE!!!!. Ele pot cuprinde: • Teste psihologice – măsuri obiective și standardizate a caracteristicilor mentale sau comportamentale ale unui individ; • Chestionare – instrumente standardizate dar fără caracteristica obiectivității deoarece apelează la auto-evaluare; • Scale – evaluează o singură caracteristică psihologică; • Inventare – vizează integral mai multe dimensiuni sau mai mulți factori; • Chestionare de opinie sau de atitudine – vizează măsurarea de caracteristici instabile, fluctuante; • Probele pot forma: • Seturi de probe – destinate evaluării adecvării pentru o anumită arie profesională sau clinică; • Baterii de probe – destinate evaluării unei dimensiuni psihologice complexe

9. A măsura în psihologie • Nu măsurăm obiecte și fenomene ci atribute ale acestora. Ca să poată fi măsurat, un atribut trebuie să fie CUANTIFICABIL, adică să existe într-o anumită cantitate identificabilă, în obiectul sau fenomenul măsurat. • Atribute cantitative și calitative. În psihologie nu întâlnim atribute pur cantitative, măsura fiind una relativă și nu absolută – factori latenți; • Măsurarea în psihologie: • Indirectă, ascunsă, subtilă – Nu avem acces direct la atributele psihice ci prin intermediul comportamentului observat; • Limitată și inexactă – Nu știm dacă răspunsurile sunt reale sau nu iar eșantionul de comportamente poate avea semnificație diferită; • Nu avem zero absolut -> probleme la comparație și raportare; • Se bazează pe eșantioane de comportament – marja de eroare mare și relevanță variabilă la nivelul subiecților; • Lipsa de acoperire pe întregul continuum al factorului latent – probe foarte lungi; • Tendința de fațadă și variabilitatea în timp a atributelor

10. Constructele psihologice Dimensiune (Nevrozism) • Atributul, în psihologie, se mai numește și factor latent sau construct psihologic. • Se situează la un nivel foarte înalt de abstractizare și nu poate fi măsurat direct (cum măsurăm nevrozismul?); • Pentru a fi abordat, el trebuie definit general („o capacitate scăzută de adaptare la evenimentele din viață ce poate determina reacții emoționale iraționale) ->definiția constructului; • Definiția generală este încă prea abstractă pentru a se putea utiliza -> definiții operaționale (Reacții emoționale care tind să persiste perioade lungi de timp, ceea ce înseamnă că persoanele se află deseori într-o pasă proastă) • Din definițiile operaționale pot rezulta indicatori ai dimensiunii, care se pot aborda prin intermediul itemilor Dimensiune -> Indicatori -> Itemi Indicator (Anxietate) Indicator (Depresie) Item 1 Item 2

11. Constructele psihologice Dimensiune (Nevrozism) • Un instrument de evaluare psihologică este construit pentru: • Un scop determinat de dimensiune (ex. evaluarea inteligenței); • A fi folosit într-un context (de exemplu cel școlar); • Nu există instrumente de diagnostic psihologic universal valabile; • Constructele (dimensiunile) pot fi: • Teoretice (de exemplu cele folosite în 16PF sau BigFive); • Empirice (o scală de anxietate, de depresie, CPI, etc.) • Unidimensionale - variabila măsoară un singur factor latent, uni sau multiaxial (ex, anxietatea) • Multidimensionale – dimensiunea se operaționalizează prin mai multe variabile (indicatori – ex. nevrozismul) Indicator (Anxietate) Indicator (Depresie) Item 1 Item 2

12. Harta constructelor • Prima etapă în construcția oricărui instrument prin intermediul căreia se acordă semnificație constructelor: • Se definește coerent și exhaustiv conținutul constructului • Se reprezintă continuumul constructului • Harta constructului poate fi: • Bazată pe răspunsurile subiecților – ce caracteristici pot avea subiecții la diferite niveluri ale factorului latent (spațiul descriptiv al subiecților); • Bazată pe răspunsurile la itemi – care comportamentele relevante pentru diferite niveluri ale factorilor latenți (spațiul descriptiv al răspunsurilor la itemi) • Complete.

13. Harta constructelor • Caracteristici: • Nu există o limitare a nivelurilor (numărului de categorii), singura condiție fiind capacitatea de diferențiere – dacă diferențele între două răspunsuri la item succesive corespund, în mod real, diferențelor între două caracteristici ale subiecților; • Etichetele calitative au un caracter cumulativ dar fără a putea reprezenta, strict matematic, intervale egale • Harta constructului oferă atât definiția generală a acestuia cât și definițiile operaționale și contribuie la identificarea precisă a indicatorilor. • Orice hartă a constructului trebuie validată de un panel de experți (de exemplu prin metoda RAM).

14. Designul itemilor • Item = un proces de observație științifică în vederea surprinderii comportamentelor saturate la diferite niveluri ale factorului latent măsurat, observație desfășurată în baza unor proceduri care permit urmărirea standardizată a amplitudinii domeniului factorului latentprecum și a unor proceduri de clasificare a acestor observații într-un set standardizat de categorii” • Designul itemilor și spațiul de răspunsuri; • Comportamente specifice care saturează în grade de intensitate diferite un construct psihologic (teama pe câmpul de luptă vs. teama de a ieși din casă); • Identificarea amplitudinii din factorul latent pe care o poate acoperi un item -> itemi destinați nivelurilor mici, medii și mari;

15. Designul itemilor - Etape • Definirea populației de itemi (stratificarea universului de itemi) • Decizii logice de alegere a comportamentelor reprezentative pentru construct; • Sortarea comportamentelor în funcție de reperele hărții constructului; • Două categorii de decizii: • Decizii de construct – în funcție de nevoile practice, diferiți itemi să acopere diferite zone ale continuumului factorului latent permițând diferențieri între subiecți cu niveluri apropiate ale factorului latent; • Niveluri numeroaseîn harta constructelor -> itemul diferențiază mai precis • Itemi mai generali -> sesizează mai grosier poziția subiectului dar acoperă mai multe niveluri ale factorului latent. Instrumente de mici dimensiuni; • Itemi mai specifici -> sesizare mai fină a poziției subiectului. Instrumente de mari dimensiuni; • Decizii descriptive – arbitrare și prezintă aspecte aplicative ale itemilor (zona factorului în care itemul are eficiență maximă, cui se adresează, de unde provine, cum a fost generat, etc.)

16. Designul itemilor - Generare • Laboratorul cognitiv • Preliminar observație participativă în vederea înțelegerii fenomenului studiat; • Itemi în formă deschisă -> grilă de interviu sau interviu semistructurat pentru colectarea răspunsurilor; • Analiza protocoalelor de interviu (tematică) -> clasificarea răspunsurilor și relaționarea cu spațiul de răspunsuri al hărții constructelor; • Observație indirectă și investigarea modului în care subiecții au elaborat răspunsurile • Răspunsurile relevante se reformulează și se pregătesc pentru analiza panel • Se generează dublul itemilor care se presupune că vor rămâne în instrumentul final • Pretestarea itemilor pe un mic grup în vederea analizei clarității; • Analiza itemilor în panel de experți (asociere la construct și relevanță) – RAM

17. Spațiul de răspunsuri • Spațiul de răspunsuri - set de categorii bine definite, finite și exhaustive, ordonate, adecvate contextului și bazate pe cercetare; • Bine definit – specificațiile clare ale factorului latent, documentația itemului, relațiile cu alți itemi; • Finit și exhaustiv – categorii reprezentative pentru populația de răspunsuri; • Ordonat - categorii pentru nivel mic al factorului latent (absență) categorii pentru nivel mare (prezență). Rezultă din tipul scalei (de exemplu Likert) sau din conținutul itemului (dihotomic sau nominal); • Adecvat la context – specific constructului măsurat și contextului în cate va fi folosit. Ancore adecvate conținutului itemului și nu generale • Prezintă doi poli: • Pol activ (răspuns activ) – cu semnificație asupra factorului latent • Pol distractor (răspuns distractor) – fără semnificație asupra factorului latent • Strategii • Fenomenografia – analiza detaliată a răspunsurilor libere ale subiecților; • Taxonomia SOLO (Structure Of the Learning Outcome) – încadrarea răspunsurilor în funcție de ierarhia stadiilor cognitive – prestructurale, unistructurale, mutistructurale, relaționale, extinse, abstracte • Scalare Guttman – inclusiv sarcini non-cognitive. Categorii ordonate în funcție de saturația în factor latent (scalograma) sau simplu ordonate (de exemplu Likert)

18. Spațiul de răspunsuri – Adecvare • Studiul pilot de adecvare a itemilor • 50-100 de subiecți cu acoperiri estimate diferite în factor latent • Două grupe – fenomenografică și de interviu post-factum • Grupa fenomenografică – gândește cu voce tare în timpul rezolvării itemilor • Grupa de interviu – rezolvă normal itemii • Interviu de clarificare final cu ambele grupe • În baza analizei protocoalelor de interviu, itemii se reformulează și se ajustează spațiul de răspuns

19. Analiza de item • Analiza și studiul distribuțiilor: • Se elimină itemii la care toate răspunsurile sunt active sau distractoare (concentrarea pe un pol); • Analiza normalității itemilor la nivelul factorului (indicatorului) măsurat; • Identificarea scorurilor extreme; • Analiza gradului de acoperire în factor latent • Dificultate (aptitudini) sau proeminență (non-aptitudini) • Analiza capacității discriminative • Indicele de discriminare • Analiza funcției diferențiale (DIF) a itemului • Răspunsuri influențate de variabile confundate

20. Validitatea • Validitatea teoretică • Bazele pe care s-au fundamentat dimensiunile și indicatorii, teoria suport; • Sinteza lucrărilor de specialitate -> meta-analiză-> model teoretic al instrumentului • Validitatea de conținut • Modul în care itemii sunt adecvați pentru a măsura constructul; • Studiul validității itemilor pentru a măsura, într-adevăr, constructul; • Studiul validității eșantionului de itemi pentru a verifica dacă acoperă continuumul factorului latent • Se folosește un panel de experți și poate fi calculat indicele de validitate relativă la conținut • Validitatea ecologică – itemi relaționați cu experiența cotidiană, comună a subiecților

21. Validitatea • Validitatea constructului • Validitatea și stabilitatea constructului teoretic (în baza hărții constructului) • Validitatea constructului din perspectiva itemilor care-l măsoară • Validitate convergentă – itemii și testul în sine se referă la același construct – corelații cu itemi (scoruri) ale instrumentelor consacrate care măsoară deja același construct -> indici de validitate ai itemilor în raport cu un criteriu extern reprezentat de același construct măsurat de un alt instrument; • Validitate discriminantă – măsura în care proba măsoară un construct complet diferit față de alte constructe despre care se știe că nu au nicio legătură cu constructul măsurat; • Validitate factorială – structura răspunsurilor la itemi tinde către un factor comun (constructul măsurat) sau către un model teoretic anterior postulat – analiza componentelor principale (exploratorie și confirmatorie)

22. Validitatea • Validitatea la criteriu • Capacitatea probei de a prezice comportamentul uman în variate situații; • Corelații între scorurile probei și un criteriu extern, independent; • Validitate concurentă – probele se utilizează în relație imediată cu un criteriu deja valid. Caracter transversal, informațiile despre criteriu sunt imediat disponibile; • Validitate predictivă – probele se utilizează în relație cu un criteriu situat în viitor. Caracter longitudinal, informațiile despre criteriu nu sunt disponibile în momentul aplicării probei; • Corelații multiple și regresii (liniare, logistice, neliniare) • Validitatea de aspect – modul în care prezentarea formală a itemilor influențează rezultatele probei

23. Validitatea – Alte forme • Validitatea externă • Validitatea temporară – în ce măsură instrumentele de diagnostic pot fi folosite fără revizii majore o anumită perioadă de timp; • Validitatea culturală – în ce măsură instrumentul își păstrează puterea diagnostică atunci când este administrat pe alte culturi; • Validitatea incrementală – în ce măsură informația furnizată de probă conduce la creșterea acurateței unei clasificări sau a unei predicții;

24. Fidelitatea • Consistența internă • Distanțele la care itemii se situează unii față de alții atunci când evaluează un factor comun; • Coeficientul de consistență internă – Alpha Cronbach; • Metoda formelor paralele • Corelații între două forme ale aceluiași instrument; • Modelul paralel (varianțe egale) și modelul strict paralel (medii și varianțe egale); • Dacă se susține modelul strict paralel putem vorbi despre probe echivalente; • Metoda test-retest (stabilitatea) • Aplicarea instrumentului aceluiași lot de cercetare la diferite intervale de timp și corelarea scorurilor • Permite evaluarea stabilității rezultatelor în timp • Metoda înjumătățirii (splif-half) • Crearea a două forme „paralele” înjumătățind itemii aceluiași instrument și corelarea rezultatelor

25. Modelul de măsură • Etapă care diferențiază între probele clasice și cele bazate pe răspuns la item • Evaluarea normativă – Etaloanele • Indică poziția unui subiect în raport cu un grup reprezentativ sau nu de subiecți; • Baza – eșantionul normativ (poate fi general sau specific) • Etaloanele se realizează după modul de distribuție al scorurilor: • În cuantile (cele mai slabe) • În unități sigma (3, 5 și 7 clase) • Standardizate (stanine, sten, note T, IQ, etc.) • Evaluarea criterială – în raport cu un criteriu extern • În baza unei ecuații de regresie; • Estimarea compatibilității cu un profil tip

26. Tendințe de fațadă • Surse ale tendinței de fațadă • Motivația – miza ridicată duce la creșterea posibilității de apariție a tendinței de fațadă; • Lungimea probei – apare plictiseala spre final și crește probabilitatea de apariție a răspunsurilor la întâmplare; • Durata examenului psihologic – răspunsuri aleatorii cauzate de oboseală. O sesiune de evaluare nu depășește 2-3 ore; • Evaluarea colectivă – lipsa de percepție a controlului și comportamentul în grup; • Lipsa validității de aspect – superficialitate în abordarea probelor; • Relația psiholog-subiect – crește tendința de fațadă din cauza tentației naturale de a face o impresie bună unei persoane cunoscute; • Statutul de autoritate al subiectului – diminuează obiectivitatea psihologului din cauza posibilelor consecințe

27. Tendințe de fațadă • Bazate pe construcția instrumentului: • Tehnica răspunsurilor dezirabile („Ca pieton ați așteptat întotdeauna culoarea verde a semaforului pentru a trece strada?”) • Scala de minciună (răspunsuri indezirabile) sau scală de sinceritate (răspunsuri dezirabile) – indicator al validității evaluării; • Itemii se pot ușor remarca și eluda de către subiect, este criticabilă; • Se cotează ușor, este simplă și larg utilizată. • Tehnica repetării itemilor („Vă plac filmele de acțiune?” vs. „Filmele de acțiune vă plictisesc?”) • Dificilă sub aspectul cotării și creării, dar nu conduce la mărirea artificială a instrumentului; • Rezultă o scală de superficialitate cotabilă cu o grilă specială; • Tehnica relației dintre factori • Se bazează pe relații cunoscute dintre factorii măsurați • Greu de implementat în practică, analiza este una euristică, nu există indicatori unici, valabilă doar pentru scoruri mari sau mici.

28. Tendințe de fațadă • Metode statistice • Bazate pe analiza timpilor de răspuns • Înregistrarea timpilor de răspuns de la prezentarea stimulului la răspunsul subiectului • Bazate pe discrepanțe • Discrepanțe – distanțele la care se situează scorul unui subiect în raport cu scorul așteptat la un anumit scor total • Bazate pe analiză de patern • Mecanisme probabilistice de identificare a unui patern de răspuns aberant • Cele mai puternice instrumente dar nu se pot folosi decât computerizat; • Metode bazate pe biofeedback • Metode invazive • Metode non-invazive

29. Criterii de alegere • Construcție – adaptare – acreditare • Valoarea unui instrument stă în studiile care-l fundamentează (surse de validitate) • Probe creion-hârtie • Manualul tehnic al probei • Contextul teoretic al instrumentului (teorie, prima versiune, adaptări succesive) • Definirea și elaborarea constructelor (definiții generale și operaționale, validitatea teoretică, consistența și studiul constructelor) • Studiile de validitate de conținut și de construct (originale și în urma adaptării); • Rezultatele replicării unor studii în procesul de adaptare • Studiile de fidelitate (originale și în urma adaptării) • Studiile de validitate la criterii externe (ecuații de regresie, profiluri tip, modalități de utilizare) • Instrucțiuni privind administrarea și cotarea probei; • Modalitatea de interpretare a scorurilor standard; • Aplicabilitatea și limitele instrumentului; • Bibliografia

30. Criterii de alegere • Probe creion-hârtie • Caietul cu itemi și/sau foile de răspuns • Caietul cu itemi – de obicei reutilizabil. Atenție pentru asigurarea validității de aspect; • Foile de răspuns - pot fi simple, auto-cotabile, cu sau fără mecanism de prelucrare electronică • Grile de corecție – folii transparente ce permit extragerea scorurilor • Materialul probei – opisul de materiale și codurile • Etalonul • Inclus în manual sau material distinct • Informații și detalii legate de etalon – NU ESTE UN SIMPLU TABEL

31. Vă mulțumesc!