Riesgos en la interpretación de los resultados de pruebas de conocimiento

1. Riesgos en la interpretación de los resultados de pruebas de conocimiento Dr. Juan Manuel Esquivel A. CECC/SICA

2. Propósito de la video conferencia • Analizar el concepto de validez, desde la perspectiva de los resultados de pruebas que miden conocimientos o contenidos curriculares • Analizar las implicaciones de la recolección de evidencias de validez en el desarrollo y administración de pruebas de conocimientos.

3. Importancia de este análisis • Problemas comunes • Énfasis limitado que se le da a la recolección de evidencias de validez durante los procesos de elaboración de las pruebas • Sobrevaloración de las evidencias estadísticas que se obtiene después de la administración de una prueba.

4. Conceptos fundamentales(1) • La validez junto con la confiabilidad son conceptos fundamentales en la medición psicológica y educativa. Hoy nuestro interés se concentrará en la validez

5. Conceptos fundamentales(2) • Validez: “juicio integrado del grado en que la evidencia empírica y el razonamiento teórico sustenta la conveniencia y lo adecuado de las inferencias y acciones basados en los puntajes obtenidos en una prueba y de las consecuencias sociales de su empleo” (Meesick, 1989)

6. Ideas fundamentales derivadas(1) • La evidencia de validez fundamenta las inferencias hechas acerca de los resultados de una prueba y no al instrumento en sí. • La validez es una característica de grado. • Cada administración de una prueba requiere renovar las evidencias de validez.

7. Ideas fundamentales derivadas (2) • La validez no solo depende de las respuestas dadas a los ítems, tareas o estímulos, sino de las personas que las dan y del contexto en que se da la medición: factores ambientales y condiciones. • Las consecuencias sociales de la interpretación tienen implicaciones de carácter ético y científico.

8. Función de los resultados de la medición • Diagnóstica: con el propósito de planificar un proceso educativo nuevo • Formativa: con el propósito de corregir un proceso educativo en desarrollo • Sumativa: con propósito de contribuir a la calificación de un proceso o fase terminada.

9. Procedimientos de obtención de evidencia de validez • En una prueba que pretende medir contenidos curriculares del dominio cognoscitivo o más simplemente conocimiento disciplinar a una población regional, nacional o regional interna.Las evidencias se recolectan para sustentar la interpretación de los resultados, en dos momentos: • Antes de la administración piloto o definitiva de la prueba • Después de esa administración.

10. Procedimiento general para el desarrollo de una prueba (1) • Definición del objetivo de la prueba y uso de sus resultados • Definición del universo de contenidos u objetivos a ser medidos • Definición del peso relativo de los contenidos u objetivos a ser medidos (tabla de especificaciones-cuadro de balance de la prueba)

11. Procedimiento general para el desarrollo de una prueba (2) • Escritura de reactivos o ítems. • Análisis de la calidad técnica de los reactivos desarrollados, por jueces expertos • Cálculo de la congruencia de cada reactivo o ítem con el contenido u objetivo que se pretende medir

12. Procedimiento general para el desarrollo de una prueba (3) • Selección de los mejores ítems para la prueba piloto • Administración de la prueba piloto • Análisis de resultados de la prueba piloto, mediante la aplicación de la Teoría clásica o el TRI.

13. Procedimiento general para el desarrollo de una prueba (4) • Selección de los ítems que se emplearán en la administración definitiva de la prueba. • Constitución de la pruebas o pruebas definitivas.

14. Análisis de un ejemplo • Analicemos detenidamente la evidencia de validez que se puede recolectar durante el proceso de desarrollo de una prueba: • Supongamos que es una prueba, referida a normas, • De conocimientos en ciencias, • De final de la educación primaria, • Que se aplicaría en un país de nuestra región

15. Tres preguntas, respecto a la validez de la interpretación de resultados • ¿Cuál sería la evidencia de validez que podemos recolectar durante el proceso desarrollo de la prueba anterior? • ¿Cuáles son posibles procedimientos de recolección de esta evidencia? • ¿Cuál es el valor relativo de la evidencia recolectada antes de la aplicación piloto y después de la aplicación piloto?

16. Posibles fuentes de evidencia para interpretar y usar resultados(1) • Objetivo de la prueba y uso de sus resultados. Esta es una decisión política. • ¿Quién definió el objetivo y el uso de los resultados? • ¿Por qué? • ¿Se plantea un empleo legítimo de los resultados?

17. Posibles fuentes de evidencia para interpretar y usar resultados(2) • Selección de contenidos u objetivos a ser medidos. Primera decisión técnica que debe ser guiada por el objetivo y el uso pretendido de los resultados. • ¿Quién debe definir los contenidos: los especialistas en la enseñanza de las ciencias, o los maestros de sexto grado? • ¿Cuáles son posibles procedimientos para realizar la selección?

18. Posibles fuentes de evidencia para interpretar y usar resultados(3) • Definición de la muestra de contenidos u objetivos a ser medidos (tabla de especificaciones-cuadro de balance de la prueba). • ¿Sería apropiado que la definan los responsables directos del desarrollo de la prueba con la colaboración de especialistas y maestros?

19. Posibles fuentes de evidencia para interpretar y usar resultados(4) • Escribir reactivos o ítems. Existen varias opciones: • ¿Maestros en servicio capacitados, solamente especialistas, solamente los responsables de la prueba, una combinación de todos estos? • ¿Qué implicaciones en la interpretación y uso tiene esta decisión?

20. Posibles fuentes de evidencia para interpretar y usar resultados(5) • Revisión de la calidad técnica de los reactivos desarrollados. • ¿Quién es el indicado para realizar esta tarea que es altamente especializada? • ¿Es necesario remunerar este trabajo? • ¿Es conveniente que lo realice una persona que previamente se ha involucrado en este proceso?

21. Posibles fuentes de evidencia para interpretar y usar resultados(6) • Procedimiento para el cálculo de la congruencia de cada reactivo o ítem con el contenido u objetivo que se pretende medir. • ¿Quién debe realizar esta tarea? • ¿Cuáles son las condiciones en que se debe realizar? • ¿Cómo se calcula la congruencia? • ¿Cómo se interpreta ese resultado y qué importancia tiene?

22. Evidencia para interpretar resultados y posibles consecuencias sociales(7) • Selección de los mejores ítems para la prueba piloto. • ¿Quién los selecciona y cómo se realiza esta tarea? • Administración de un prueba piloto. • ¿Cuál es el propósito? • ¿Es siempre posible hacer una prueba piloto? • ¿Cómo se define las características de la muestra de estudiantes para la prueba piloto?

23. Posibles fuentes de evidencia para interpretar y usar resultados(8) • Análisis de resultados de la prueba piloto. • ¿Cuál es la teoría que se aplica? • ¿De qué factores depende? • ¿Cuál es el uso de los resultados?

24. Valor relativo de la evidencia recolectada antes y después de la aplicación piloto (1) • un aspecto fundamental: • Aquellos profesionales evaluadores que ejecuten procesos como el aquí descrito tienen la obligación ética de informar, en el reporte de resultados, acerca de todas las interrogantes antes señaladas y sus justificaciones, • Solamente de esa manera se podrá juzgar la calidad del proceso de validación seguido. 

25. Valor relativo de la evidencia recolectada antes y después de la aplicación piloto (2) • Mi respuesta a la interrogante anterior es que: • La evidencia recolectada antes y después de la prueba piloto es igualmente importante • Especialmente, una prueba que mida conocimientos debe presentar evidencia, como requisito indispensable, que se refiera al cómo y por qué de los pasos 2, 3, 4, 5, 6 y 7 antes descritos. • Lamentablemente no es lo más común.

26. Espacio para preguntas, comentarios