EL ESTUDIO DEL SESGO EN LOS TESTS

1. EL ESTUDIO DEL SESGO EN LOS TESTS DEFINICIÓN DE SESGO SESGO EN LOS TESTS SESGO EN LOS ITEMS 3.1) TIPOS DE SESGO 3.2) MÉTODOS DE DETECCIÓN 3.3) SOFTWARE

2. Tests tienen importantes consecuencias. LSAT, GRE, SAT, PISA, TIMSS,… • Habrá que asegurarse que lo que el test mide es relevante (validez) para lo que se aplica. • Supuesto lo anterior, las puntuaciones en el test o ítems no deben depender de otras características (como género, idioma,..) distintas a las que el test mide. Discriminación en grupos minoritarios: Afro-americanos, latinos, indios _americanos, Discriminación por género…

3. Perspectiva Clásica: Validez Predictiva (sesgo en relación a la predicción de un criterio externo) Y’=AX+B 2 Y Y 1 Falacia Igualitarista? X X 2 2 Y Y 1 1 X X Educational Testing Service…->DIF

4. ALGUNOS CONCEPTOS Funcionamiento Diferencial del ítem (DIF): Existe DIF si la probabilidad de acierto en el ítem es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo. Los estudios de DIF se ocupan de determinar si los ítems tienen o no este problema. Funcionamiento Diferencial del test (DTF): Existe DTF si la suma de las probabilidades de acierto en el test es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo. Impacto es la diferencia en el rasgo entre los dos grupos. Sesgo (bias): Efecto que se produce en las puntuaciones por alguna fuente de varianza irrelevante al constructo (measurement bias) o el efecto de tales fuentes en la covarianza entre las puntuaciones y un criterio (predictive bias). Por tanto, si hay DIF, se requiere un estudio del porqué difiere el rendimiento el grupo de referencia y el grupo focal, o mayoría y minoría. Si un ítem tiene DIF y un panel de expertos determina que la diferencia de puntuaciones no se debe al constructo medido. El DIF es una aproximación para estudiar el sesgo. Grupo de referencia/Grupo focal

5. DIF: Diferencias no explicadas por el nivel de rasgo Dependen TAMBIEN de las diferencias verdaderas en el nivel de rasgo (Impacto) IMPACTO Y DIF Paradoja de Simpson

6. TIPOS DE DIF • DIF uniforme y no uniforme

7. What does alto mean? • Again • Also • Countertenor • High • In adition (ejemplo extraído de De ayala, 2009)

8. Caso real (Ejemplo 1): Rendimiento What is the way around this rectangle? Answer:______ ¿Cuál es el contorno del rectángulo? Grupo P(España) P(USA) 0-15 0.15 0.20 16-30 0.20 0.30 31-45 0.23 0.35 46-60 0.40 0.65 61-75 0.45 0.70 76-90 0.48 0.75 2 inches 4 inches

9. Estudio de DIF (Ejemplo 2): Aptitudes Abad, Colom, Rebollo, Escorial (2003): Sex differential functioning in the Raven’s Advanced Progressive Matrices: evidence for bias. P.and Ind. Diff. La media en Raven suele ser mayor en los hombres, pese a que no es mayor la media en “factor g”

10. Estudio de DIF (Ejemplo 3): personalidad Reise, S.P., Smith, L. y Furr, R,M. (2001): Invariance of the NEO-PI-R Neuroticism Scale. Multivariate Behavioural Research, 36 (1), 83-110. Faceta de ansiedad dentro de la escala de Neuroticisimo del NEO-PI-R: Items más fáciles para los hombres: - A menudo me siento tenso e inquieto - Me preocupa con frecuencia por cosas que podrían salir mal Items más fáciles para las mujeres: - Tengo más miedos que la mayoría de la gente - Me asusto con facilidad Funcionamiento Diferencial del test: Ambos se cancelan. ¿Solución? ¿Eliminar ítems? ¿Construir 2 escalas?

11. Aspectos a considerar: 1.) Si el ítem tiene DIF 2.) Si el DIF del ítem es relevante desde el punto de vista práctico 3.) Si el DIF del ítem se traduce en un test con DTF.

12. DIF y multidimensionalidad

13. DIF y multidimensionalidad