Indicadores educativos, su significado y la importancia de su sustento teórico-conceptual

1. Indicadores educativos, su significado y la importancia de su sustento teórico-conceptual 1ª sesión presencial 8 de octubre, 2011 María Adriana Dander Flores

2. Contenido • Comentarios sobre las lecturas de la actividad previa • Metodología para el diseño de un sistema de indicadores • Concepto de indicador y su evolución • Actividad de cierre

4. Aspectos a destacar CONCLUSIONES • Crear y mantener marcos muestrales • Diseño de encuestas, colección y análisis de datos • Desarrollo de la capacidad técnica y profesional para mantener y desarrollar sistemas de indicadores de acuerdo con determinados estándares

5. Desarrollar la capacidad analítica • Uso eficiente de los recursos disponibles

7. Aspectos destacados • Redes • Grupo técnico

9. Aspecto destacado • Proceso de medición de los aspectos sociales

10. El diseño de sistemas de indicadores: consideraciones teórico - metodológicas Cuadernos de investigación del Instituto Nacional para la Evaluación de la Educación (INEE)

11. ¿Qué es el INEE? Organismo público descentralizado, de carácter técnico cuyo objeto es desarrollar y ofrecer herramientas a las autoridades educativas para efectuar la evaluación de los subsistemas educativos de educación básica y media superior (Arts. 1 y 2 del decreto de creación del 8 de agosto de 2002). Colabora con la SEP en materia de evaluación del SEN y en la fijación de lineamientos con los cuales las autoridades locales evalúan a sus sistemas educativos locales.

12. Misión del INEE MISIÓN Contribuir a la mejora de la educación a través de la evaluación de la calidad del sistema educativo. Difusión transparente y oportuna de resultados para toma de decisiones, la mejora pedagógica en las escuelas y la rendición de cuentas. • Desarrolla herramientas que permiten a los actores sociales evaluar a los sistemas de educación básica y media superior. Colabora con SEP en la evaluación del SEN • Evalúa externamente al Sistema Educativo Nacional (SEN). • Comprometido con altos estándares metodológicos y técnicos. • Independencia técnica.

13. Tareas del INEE • Evaluaciones de aprendizajes: proyectos nacionales e internacionales • EXCALE 3º de preescolar, 3º y 6º de primaria y 3º de secundaria y último nivel de educación media superior • PISA, LLECE • Evaluación de condiciones de la oferta educativa: recursos y procesos de las escuelas • Integración de resultados en Sistema de Indicadores • Difusión y diseminación de resultados

14. Aportaciones principales Informes anuales sobre el estado que guarda la educación básica y media superior en México. A partir de 2005, el INEE desarrolla sus propias pruebas de evaluación del logro (Exámenes para la calidad y el logro educativos, Excale) Excale 12 evalúa …. Construcción de un SIE de EB y EMS. Banco de Indicadores Educativos (BIE, ver www.inee.edu.mx).

15. Realiza evaluaciones de Recursos y procesos de las escuelas. En particular se han abordado la infraestructura, la violencia en las escuelas así como la práctica docente. • Se han editado más de 200 publicaciones (ver www.inee.edu.mx). • Ha editado más de 200 publicaciones (informes, reportes técnicos, materiales para maestros). • Desarrolló explorador Excale y corpus Excale para escritura

16. Productos en materia de indicadores Publicaciones anuales: Panorama Educativo de México Publicaciones ocasionales Memorias Sininde Supervisión escolar en primarias Consulta digital: Banco de Indicadores Educativos Tablas estadísticas (TEI)

17. METODOLOGÍA PARA DISEÑO DE UN SISTEMA DE INDICADORES • Primera Etapa. Elaboración del listado inicial de indicadores • Objetos empíricos. Más tangibles: personas, instituciones, equipos, materiales; menos tangibles: currículo, normatividad, tradiciones, etc. • Cada objeto empírico no puede aprehenderse en su totalidad; hay que seleccionar aspectos pertinentes, según el propósito: construir objetos teóricos • El propósito del sistema de indicadores es evaluar la calidad educativa; es clave precisar la noción de calidad, para poder pasar del objeto empírico al teórico

18. ¡Debe contarse con marco de referencia y conceptual! Los sistemas de indicadores no deben diseñarse a partir de la información existente, sino del marco de referencia adoptado, aunque no se cuente desde el principio con información suficiente, y deba generarse después la que haga falta

19. Segunda Etapa. Desarrollo del listado inicial: fichas por indicador • Nombre, breve y claro • Definición, con precisión y rigor conceptual • Explicación, situando el indicador en un marco pertinente • Fuentes de obtención de la información • Fórmula de cálculo y criterios para su estimación. • Desagregaciones posibles (género, entidad, modalidad…) • Elementos para la interpretación de los resultados.

21. Tercera Etapa. Jueceo inicial de los indicadores desarrollados • Cualidades técnicas • Validez es la capacidad del indicador de medir lo que pretende de la realidad observada. • Confiabilidad implica que la definición conceptual y operacional del indicador permite obtener mediciones consistentes con información equivalente en distintos momentos. • Comparabilidad es la característica conceptual del indicador por la que abstrae rasgos centrales del objeto de estudio, independientemente del contexto donde éste se encuentre inmerso.

22. Estabilidad temporal es la propiedad metodológica del indicador que le permite para compararse consigo mismo de forma consistente a lo largo del tiempo. • Sensibilidad es la cualidad para captar diferencias significativas entre varios objetos de estudio pertinentes.

23. Cualidades prácticas • Actualidad: se refiere a la vigencia de información provista por las últimas mediciones. • Factibilidad:es la posibilidad de disponer, en tiempo, forma y a un costo razonables, de la información necesaria para el cálculo del indicador. • Importancia:es la cualidad del indicador de proveer información central del sistema educativo y su entorno o de sus componentes tanto sistémicos como de calidad, por sí mismo o en conjunto con otros indicadores.

24. Utilidad:característica del indicador por la cual coadyuva a la toma de decisiones en el marco de las políticas públicas y a la rendición de cuentas transparentes para la sociedad. • Claridad:es la capacidad para facilitar la comunicación e interpretación adecuada de lo que el indicador representa.

25. Cualidades del conjunto • Cobertura, si atiende todos los aspectos relevantes • Balance, si lo hace en forma equilibrada • Parsimonia, si tiene un número razonable de indicadores, ni excesivo ni escaso

26. Proceso de jueceo de los indicadores

27. Jueces de 3 tipos para análisis a priori • Expertos, especialistas en los temas cubiertos y en las fuentes de información • Usuarios especializados, autoridades de nivel alto y medio con experiencia • Usuarios de base, directores, maestros y padres de familia

28. Jueceo. Tres vueltas (tipo delphi); en cada una se califica de 1 a 5: • 1ª Vuelta: opiniones sobre las cualidades (validez, confiabilidad etc.) de cada indicador, a partir de nombre, definición, explicación, fuentes, fórmula, desagregaciones… • 2ª Vuelta: nueva opinión teniendo información sobre opiniones de otros participantes; quienes tengan opiniones discrepantes darán argumentos para defender su posición. • 3ª Vuelta: nuevas opiniones dando información de los argumentos de los participantes con opiniones extremas o discordantes en la vuelta anterior. • Ocasionalmente puede realizarse un panel en la 2ª ó 3ª vuelta.

29. Más peso a opiniones de unos jueces en relación con ciertos criterios: • Expertos más peso para criterios técnicos • Usuarios especializados para factibilidad, importancia y utilidad • Usuarios de base para sobre la claridad

30. Cuarta Etapa: prueba piloto o primera aplicación del sistema • Procesos de depuración y cálculo para obtener los primeros valores de cada indicador • Nuevo análisis de la calidad de cada indicador y el sistema a posteriori • Valorar si la información es interpretada correctamente y utilizada

31. Otros pasos. Referentes: de la medición a la evaluación. Tres tipos: • Óptimos: países avanzados, mejores entidades (benchmarking,mejores prácticas) • Promedio: países similares, promedios nacionales… • Mínimos: países o entidades de menor desarrollo, mínimos normativos…

32. Cada uno tiene cierto sentido; ninguno es suficiente; conviene usar los tres • Otros referentes posibles: contrastar la situación presente con pasado y futuro (metas) • Posiblemente los más pertinentes: finalmente… • Un sistema educativo de calidad es aquel que siempre mejora respecto a sí mismo, sin idealizar el pasado y con metas ambiciosas pero realistas para el futuro

33. Refinamiento de los indicadores y maduración del sistema • Desarrollar indicadores de buena calidad implica tiempo • Además de seguir la metodología hay que revisarlos una y otra vez • El ritmo anual de la estadística educativa hace que el refinamiento lleve años • Interrelación con usuarios • Investigación para el sustento de nuevos indicadores.

34. Ejemplo de la relación entre investigación y desarrollo de indicadores 1, DEBER SER MARCO DE REFERENCIA D DISEÑO DE INSTRUMENTOS CASOS DOCUMENTALES 2. SER: CARACTERIZACIÒN D ESTUDIOS DE CASO 3.TRAYECTORIAS D INDICADORES 4. LOS IDEALES

35. …la creación de un indicador nuevo toma largo tiempo… difícilmente puede abreviarse, dada la naturaleza iterativa de los procesos de formación de conceptos y de los esfuerzos de medición…[y] el necesario para los ajustes por ensayo-error. Aun si ya existen antecedentes de investigación y cierto consenso alrededor de un problema, es probable que pasen al menos 10 años entre el deseo de contar con una medida y la producción efectiva de esta. Judith Innes de Neufville, 1975

36. El control de la calidad de los indicadores • Para tener calidad no basta proponérselo; hay que poner los medios: metodología consistente + mecanismos de control de calidad. Tres componentes del modelo de calidad del INEE: • Criterios de calidad precisos, a cumplir en cada paso • Procedimientos claros a seguir para asegurar se cumplan los criterios • Instancias internas y externas, con personas calificadas, que supervisen la operación de procedimientos y el cumplimiento de criterios

37. Concepto de indicador y su evolución

38. La investigación y el desarrollo de sistemas de indicadores educativos es un campo de estudio reciente aunque la idea de dar un significado de cuantificación a los fenómenos sociales es bastante antigua.

39. El desarrollo de la noción de indicador nace como resultado de la necesidad de proporcionar cifras de población o datos económicos con información sobre otras dimensiones de la vida social.

40. El término indicador se utiliza en varios sentidos que no necesariamente coinciden entre sí. • Trilogía del proceso de operacionalización: • Variables • Dimensiones • Indicadores

41. La variabledenota un aspecto particular de la realidad que se estudia, el cual puede aislarse de forma analítica. • No permanece constante. • Adopta valores de acuerdo con los sujetos de la población estudiada.

42. Un indicador singular no basta para considerar las dimensiones totales de un concepto amplio, por lo que se deben desarrollar más indicadores que capten una medida del total de las dimensiones de un fenómeno a estudiar.

43. R.A. Bauer (1966) El problema clave de un sistema de indicadores sociales… es que nunca podemos medir directamente las variables que nos interesan, sino que tenemos que seleccionar substitutos en el lugar de esas variables. Podemos, por ejemplo, estar interesados en saber si una persona es o no ambiciosa. Pero no podemos observar la ambición en sí misma. Podemos hacer preguntas a la persona, y escuchar sus respuestas, o bien observar qué tan intensamente trabaja y en busca de qué tipo de retribución; a partir de ello podemos inferir si la persona es o no ambiciosa

44. El concepto de indicador puede tener un carácter sintético, integrando más aspectos particulares. • T. Wyatt(1994) propone la siguiente definición de indicador educativo: estadística sintética (summary) sobre el estado actual de un sistema educativo

45. La definición más aceptada en la actualidad se deriva de la de Oakes, la cual propone que un indicador es una estadística relevante para la política educativa que proporciona información sobre el estado o situación, la calidad o el producto del sistema educativo

46. Un indicador debe ofrecer información sobre… • Los logros de un sistema educativo, relativo a la obtención de resultados determinados. • Algunas características que se relacionen con ciertos resultados, es decir, que el indicador tenga valor predictivo.

47. Rasgos centrales del sistema educativo, o la descripción de los problemas, con el fin de entender el funcionamiento. • Aspectos relevantes para la política educativa, que permita apoyar la toma de decisiones.

48. Características de un indicador • Medir aspectos de todos ámbitos del sistema a evaluar, lo que permite hacer comparaciones. • Medir aspectos duraderos del sistema, lo que permite analizar tendencias y cambios en el tiempo.

49. Serinteligiblesparaaudienciasamplias • Tener factibilidad de tiempo, de costo y de capacidad técnica requeridos para su obtención. • Ser generalmente aceptados por sus cualidades técnicas de validez y confiabilidad

50. Definición pragmática, Shavelson (1989) un indicador es una estadística simple o compuesta que se relaciona con un constructo educativo básico y es útil en un marco de políticas públicas