DISEÑO Y VALIDACIÓN DE INSTRUMENTOS DE MEDICIÓN

1. DISEÑO Y VALIDACIÓN DE INSTRUMENTOS DE MEDICIÓN Elaboración de pruebas psicológicas

2. Construcción de pruebas • Definición de la prueba • Selección de un método de escalamiento • Construcción de reactivos • Examen de reactivos • Revisión de la prueba • Publicación de la prueba

3. Definición de la prueba • Responsabilidad del autor. • Diferente y mejor que los existentes. • Aportar al área de investigación. • Tener objetivos específicos. • Explicar un propósito de manera explícita. • Plantear un nuevo enfoque para una solución a un problema.

4. DESARROLLO DE UN INSTRUMENTO DE MEDICIÓN

5. Algunas cuestiones preliminares…. ¿Qué es lo que va a medir la prueba según su diseño? ¿Cuál es el objetivo de la prueba? ¿Existe una necesidad para esta prueba? ¿Quién usará esta prueba? ¿Quién tomará esta prueba? ¿Cómo se aplicará la prueba? ¿Cuál será el formato ideal de la prueba? ¿Qué clase de respuestas se requerirá de los posibles evaluados? ¿Quién se beneficia con la aplicación de esta prueba? ¿Cómo se asignará significado a las puntuaciones de esta prueba?

6. Formato de respuesta seleccionada Formato de construcción de respuesta FORMATO DE REACTIVOS

7. FORMATO DE SELECCIÓN DE RESPUESTA • Quienes respondan la prueba elijan una respuesta entre una serie de alternativas. • Reactivos de opción múltiple. • Reactivos de correlación. • Reactivos de verdadero / falso.

8. EJEMPLOS… Una prueba psicológica, una entrevista y un estudio de caso son: Herramientas de evaluación psicológica. Muestras conductuales estandarizadas Instrumentos confiables de evaluación Medidas vinculadas con la teoría

9. Un buen reactivo de opción múltiple en una prueba de rendimiento: Tiene una alternativa correcta Tiene alternativas paralelas desde el punto de vista gramatical Tiene alternativas de longitud similar Tiene alternativas que concuerdan desde el punto de vista gramatical con el tronco Incluye tanto como sea posible del reactivo un el tronco para evitar repeticiones innecesarias Evita distracciones ridículos No es demasiado largo Todos los anteriores Ninguno de los anteriores

10. REACTIVO DE RELACIÓN Se le presentan dos columnas de respuestas al examinado. Premisas a la izquierda y respuestas a la derecha. ¿Cuál de las respuestas se asocia mejor con cuál premisa?

11. Relacione los nombres de los actores en la columna X con el papel que interpretaron en alguna película de la columna Y. Cada papel en la columna Y puede usarse una o más veces. • Anthony Hopkins • JimCarrey • WesleySnipes • Mike Myers • Dustin Hoffman • Jack Black • George Lazenby • Tobin Williams • SigourneyWeaver • Michelle Yeoh • Russell Crowe • Ace ventura • El chacal • Capitán Jack Aubrey • HannibalLecter • Austin Powers • Blade • YuShu • Dewey Finn • Profesor Brainard • Benjamín Braddock • James Bond • Ellen Ripley • John Book

12. La redacción de premisas y respuestas deben ser muy breves y directas No mas de una docena de premisas Las dos listas deben ser homogeneas, de la misma clase

13. REACTIVO DE SELECCIÓN BINARIA Falso / Verdadero Suele tomar la forma de una oración en donde el examinado indicará si la afirmación es o no un hecho. Acuerdo / desacuerdo; Si / no; Correcto / incorrecto Debe contener una sola idea. No ser largo en exceso. No estar sujeto a debate.no necesitan tener una lista de alternativas distractoras. Desventaja: la posibilidad de obener una respuesta correcta con base en el azar (adivinando) es 50%.

14. REACTIVO DE COMPLETAR RESPUESTA BREVE REACTIVO DE ENSAYO VARIEDAD DE CONSTRUCCIÓN DE RESPUESTA.

15. REACTIVO DE COMPLETAR. Requiere que el examinado proporcione una palabra o frase que complete una oración. Por lo general, la desviación estándar se considera la medida más útil de ___________. La respuesta correcta debe ser específica. Variabilidad

16. RESPUESTA BREVE ¿Qué estadística descriptiva es considerada por lo general como la medida más útil de variabilidad? Redactados con la suficiente claridad para que el examinado pueda contestar en forma breve y certera: corta. Mas de dos párrafos es reactivo de ensayo.

17. REACTIVO DE ENSAYO El examinado responde escribiendo una composición, por lo general una que demuestre que hay rememoración de hechos, entendimiento, análisis o interpretación. Compare y contraste las definiciones y técnicas del condicionamiento clásico y operante. Incluya ejemplos de la forma en que se han aplicado los principios de cada uno en escenarios clínicos y educativos.

18. Se aplica cuando se quiere evaluar profundidad de conocimiento. Requiere memoria, organización, planeación y capacidad de redacción. Inconveniente: subjetividad en calificación.

19. Validación y análisis de reactivos.

20. Estudio piloto • Es la investigación preliminar que rodea a la creación de un prototipo de la prueba. • Se valora si los reactivos serán incluidos en la versión final del instrumento. • Una vez que se ha completado el estudio piloto, comienza el proceso de elaboración de la prueba.

21. ANÁLISIS DE REACTIVOS

22. Consideraciones… • Los criterios para los mejores reactivos pueden diferir como una función de los objetivos del elaborador de la prueba. • Para analizar y seleccionar reactivos hay que tomar en cuenta: • La dificultad del reactivo. • Un índice de validez del reactivo. • Un índice de confiabilidad del reactivo. • Un índice de la discriminación de un reactivo.

23. Índice de dificultad del reactivo. • ¿Bueno? ¿malo? ¿fácil? ¿difícil? • Si un reactivo es demasiado fácil o demasiado difícil, el reactivo debe ser redactado de nuevo o desechado. • Se obtiene un índice de la dificultad de un reactivo calculando la proporción del número total de quienes respondieron la prueba que tuvieron correcto el reactivo. • Dificultad del reactivo p1: índice de dificultad del reactivo para el reactivo 1.

24. El valor de un índice de dificultad del reactivo puede variar desde el punto de vista teórico de 0 (si nadie tuvo correcto el reactivo) a 1 (si todos tuvieron el reactivo correcto). • Si 50 de 100 examinados tuvieron bien el reactivo 1, entonces 50/100=0.5 p1=.5

25. Si p3=.75, podemos decir que el reactivo 3 es más fácil que el 1. • Debido a que p se refiere al porcentaje de personas que contestan correctamente un reactivo, entre mayor es p para un reactivo, éste es más fácil.

26. Para obtener el índice promedio de dificultad para una prueba, se suman los índices de dificultad del reactivo para todos los reactivos de la prueba y se divide entre el número total de reactivos. • La dificultad promedio óptima del reactivo es aproximadamente .5 (.3-.8)

27. En un reactivo cierto/falso con base en el azar es ½, o .50. • Así, la dificultad óptima del reactivo está en el punto intermedio entre .50 y 1.00 = .75 .50+1.00=1.5 1.5 / 2 = .75

28. Para un reactivo de opción múltiple con 5 opciones, la probabilidad de azar es 1/5, o .20 = .60 .20+1.00=1.20 1.20 / 2=.60

29. CONFIABILIDAD….

30. DEFINICIÓN • Es un atributo de consistencia en medición. • Es una cuestión de grado, no de todo y nada. • Se refiere a la consistencia y fiabilidad de los datos. • Si se repite una segunda vez, una medida confiable dará los mismos resultados que la primera vez: Si le hago a una persona la misma pregunta dos veces, ¿obtendré la misma respuesta?

31. ERROR DE MEDICION Y CONFIABILIDAD • El error de medición reduce la confiabilidad o repetitividad de los resultados de una prueba psicológica. • ¿Que tan consistente es una prueba psicológica? • ¿Cuáles son las fuentes de consistencia e inconsistencia en los resultados de una prueba psicológica?

32. CONFIABILIDAD TEMPORAL • Test Re-test • De formas alternas

33. CONFIABILIDAD DE CONSISTENCIA INTERNA • Confiabilidad por mitades • ALFA DE CRONBACH • KUDER RICHARDSON • Confiabilidad intercalificadores

34. CONFIABILIDAD TEMPORAL

35. Test-Retest • Es el método mas sencillo para determinar la confiabilidad de una prueba. • Se aplica dos veces la misma prueba al mismo grupo de sujetos heterogéneos y representativos.

36. CONFIABILIDAD POR FORMAS ALTERNAS • El autor elabora dos formas de la misma prueba. • Se construyen de manera independiente para satisfacer las mismas necesidades, desde el mismo nivel de cada uno de los reactivos.

37. Se incorpora contenido similar y cubren el mismo rango y nivel de dificultad en los reactivos. • Tienen propiedades estadísticas y normativas similares. • Se aplican las dos formas al mismo grupo y se correlacionan las dos puntuaciones finales. • Se duplica el costo.

38. CONFIABILIDAD DE CONSISTENCIA INTERNA

39. CONFIABILIDAD POR MITADES • Correlaciona los resultados de una mitad de la prueba con los de la otra mitad. • Se correlacionan los pares de puntuaciones obtenidas de mitades equivalentes de una prueba aplicada sólo una vez a una muestra representativa de examinados.

40. El principal desafío consiste en dividir la prueba en dos mitades aproximadamente equivalentes. • El método mas común para obtener la división por mitades es comparar las puntuaciones de los reactivos pares y nones de la prueba.

41. CRITICAS AL ENFOQUE POR MITADES • En lugar de proporcionar un solo coeficiente para la prueba, el procedimiento nos da diferentes coeficientes dependiendo de cuáles reactivos se agrupan cuando la prueba se divide en dos partes. • Si una mitad puede dar un mayor coeficiente que otra, se puede tener poca fe en cualquier resultado que se obtenga de una sola mitad. Cronbach, 1951

42. ALFA DE CRONBACH • ¿Por qué depender de una sola división? • ¿Por qué no tomar un valor más típico, como la media por mitades que resulten de todas las posibles divisiones de la prueba? • Coeficiente a es la media de todos los posibles coeficientes por mitades.

43. CONFIABILIDAD INTERCALIFICADORES • Algunas pruebas permiten una gran cantidad de juicio por parte del examinador en cuanto a la asignación de puntuaciones. • Pruebas proyectivas • Pruebas de desarrollo moral. • Pruebas de creatividad.

44. CONFIABILIDAD INTERCALIFICADORES • Dos o mas examinadores califican de manera independiente una muestra de las pruebas y se correlacionan las puntuaciones. • Este tipo de confiabilidad complementa otros estimados de confiabilidad, pero no los sustituye.

45. METODOS PARA EVALUAR CONFIABILIDAD

46. VALIDEZ…………….

47. DEFINICIÓN • Se dice que un test es válido si mide confiablemente lo que se supone que debe de medir. • La exactitud con que pueden hacerse mediciones significativas y adecuadas con un instrumento, en el sentido de que mida realmente el rasgo que pretende medir.

48. La validez se refiere a las mediciones que no son sólo confiables sino también verdaderas y precisas. • Una medición válida mide lo que se supone que debe medir. • Una medida confiable no siempre es válida.

49. Validez de un instrumento. • ¿Qué miden los puntajes del test? • ¿Qué predicen dichas puntuaciones? • Es materia de demostración empírica.

50. Cuestiones de validez • Validez interna: ¿El tratamiento experimental hizo alguna diferencia en este estudio específico? • •Validez externa: ¿A qué programas, contextos o poblaciones se pueden generalizar los resultados del estudio?