ETAPAS PARA DISEÑAR INSTRUMENTO

1. ETAPAS PARA DISEÑAR INSTRUMENTO • Determinar propósito del examen: “evaluar la calidad de competencias adquiridas y en su nivel de logro”. • Determinar áreas. • Construcción instrumento. • Análisis estadístico (SPSS). • Seguimiento de egresados (predicción de resultados). Taller 24 de mayo 2007

2. Pirámide de Miller y los métodos de evaluación Mini CEX, perfiles de práctica, pacientes de incógnito ECOE, examen oral con pacientes, portafolio. Opción múltiple, puntos clave, ensayo, oral. AUTENTICIDAD Opción múltiple, puntos clave, oral ECOL : EXAMEN CLINICO OBJETIVO Y ESTRUCTURADO CEX : CLINICAL EVALUATION EXERCISE

3. UTILIDAD DE UN INSTRUMENTO DE EVALUACIÓN Utilidad = (Confiabilidad * Validez * Im pacto * Aceptabilidad) * 1 Costo • Confiabilidad= cada vez que se aplica mide lo mismo. Se busca confiabilidad interna y confiabilidad inter-evaluador. • Validez= instrumento mide lo que pretende medir. • Impacto social y educacional, cuando aquello que mide el instrumento permite cambiar la situación original (logro aprendizaje) • Aceptabilidad en qué medida la gente acepta los resultados como válidos. • Costo, si al medir “algo” con uncosto muy alto, no es útil.

4. (Confiabilidad * Validez * Impacto * Aceptabilidad) * 1 Costo • Confiabilidad Los ítems de opción múltiple deberían representar muestras de amplios contenidos, que demuestran una consistencia interna relativamente sólida. La confiabilidad debería ser tan alta como, o superior a 090 ya que si se aplican 60 o más ítems la amplitud de la muestra de aspectos medidos controla la especificidad de los casos. En estos ítems la confiabilidad inter-observador tiende a 1.0 ya que los criterios de corrección están predeterminados o se corrigen automáticamente.

5. (Confiabilidad * Validez * Impacto * Aceptabilidad) * 1 Costo • Validez En los ítems de opción múltiple existen varios cuestionamientos a la validez. Entre ellos destacan: • Sólo mide la capacidad de reconocer la respuesta correcta, lo que tiene poco que ver con medir competencia o el desempeño. • Solo mide conocimiento teórico, no resolución de problemas, cuando los ítems están construidos con formato de estímulo pobre en contexto.

6. (Confiabilidad * Validez * Impacto * Aceptabilidad) * 1 Costo • Impacto educacional Es el aspecto donde los ítems de opción múltiple presenta debilidades. Es frecuente utilizarlos como evaluación sumativa generando un impacto negativo en el estilo de aprendizaje de los alumnos, ya que orienta el estudio hacia la memorización. En general sus resultados no se utilizan para producir mejoras en los aprendizajes. • Aceptabilidad Por lo general, los resultados de estos ítems son aceptados por los alumnos y por la sociedad.

7. Características de las pruebas según la fórmula de utilidad de una evaluación. ECOE, Examen Clínico y Objetivo Estructurado, Mini CEX,Mini Clinical Evaluator Exercise (+) , bajo (++), moderado (+++), alto. Tabla 2. Diferencias entre formatos de estímulo rico y pobre en contexto. Puntos clave: Descripción oral o escrita de situaciones problemáticas y sus contextos de las cuales se deriva un set de 4 a 6 preguntas en relación al problema planteado y sus relaciones con el contexto (contextos amplios) Alta confiabilidad, Alta validez e impacto

8. TIPOS DE VALIDEZ Estos son: • Validez de contenido ¿Cuán representativa es la muestra de reactivos de la o las dimensiones que pretenden medirse? Al seleccionar ítem determinar si mide lo que corresponde. Se debe probar con jueces calificados, 5-10 ítem por juez. • Validez de constructo ¿Cuáles son las dimensiones o conceptos subyacentes a la muestra de reactivos. Realizar por área. • Validez predictiva ¿Qué predicciones se pueden efectuar a partir de la muestra de reactivos del instrumento? Qué le pasará al sujeto que rinde bien o mal en la prueba. • Validez semántica ¿En qué medida los examinados comprenden el lenguaje y su significado al interactuar con los contextos, preguntas y alternativas? Se debe probar pasando pregunta por pregunta sin dar las alternativas para ver si se entendió el enunciado.

9. ESTIMACION DE VALIDEZ DE CONTENIDO • Se realiza a través de jueces calificados (entre 5 a 10 jueces) • Los jueces califican el contenido de cada reactivo, en relación a la definición de las dimensiones y la corrección formal de los reactivos. • La validez se estima a través de la consistencia o porcentaje de acuerdo entre los jueces. El 80% o más de consistencia es adecuado, tanto para conservar, como para modificar o descartar reactivos.

10. ESTIMACION DE VALIDEZ DE CONSTRUCTO • Se basa en los constructos o hipótesis contrastadas planteados por la teoría que sustenta el instrumento. • Puede basarse en evidencia correlacional o comparativa. Jueces a modo de expertos opinan en qué medida un conjunto de ítems representa el constructo planteado en el marco teórico. También puede ser estimada a partir de un análisis estadístico de tipo factorial.

11. APUNTES DE PRESENTACIÓN • Para permitir globalidad se debe aumentar el Nº de ítems. • Situaciones contextualizadas amplias que se desprendan varios ítems en diferentes contextos (at.1ia, 2ia) • Evaluación auténtica “in situ” espacio similar al desempeño, integrada. • Se puede hacer video para situación simulada (se pasa y hacen las preguntas) con actores. • Los ítems deben cubrir todo el constructo. • Si se tiene la competencia el ítem debe medir todos los aspectos del constructo. • A los ítems se les debe hacer análisis factorial y correlacional. • Para hacer las situaciones , considerar las situaciones de salud más relevantes en Chile. • Organizar el instrumento por áreas definidas. • Propiedad intelectual ACHIEEN como ente regulador.

12. POSTERIOR A APLICACIÓN EXAMEN • Qué hacer con los resultados: se debe hacer derivaciones de los resultados, entregar informe a cada universidad de acuerdo a las áreas de mayor dominio, por ejemplo.