Raja Bentaouet Kattan Banco Mundial 16 de febrero de 2009

1. Hallazgos del reporteLa calidad de la educación en Colombia: un análisis y opciones para un programa de política Raja Bentaouet KattanBanco Mundial16 de febrero de 2009

2. Agenda • Colombia y el Banco Mundial en el sector educativo • Tendencias del sector educativo colombiano • Hallazgos del reporte y análisis de los resultados de PISA 2006 • Opciones para un programa de políticas

3. 1. Colombia y el Banco Mundial en el sector educativo • Programa de Actividades de Análisis y Asesoría (AAA) sobre calidad de la educación. • Este programa coincide con los esfuerzos nacionales de reformar al sector a través de un mayor énfasis mejorar la calidad de la educación en el país. • Reporte “La calidad de la educación en Colombia: un análisis y opciones para un programa de política” es el primer producto de este programa. • El Programa AAA se encuentra ahora en su segunda fase de ejecución.

4. Sobre el Reporte • Revisó de la evidencia sobre las tendencias del sector educativo en Colombia. • Examinó la bibliografía internacional y nacional sobre los factores determinantes del aprendizaje. • Utilizó los resultados nacionales de PISA 2006 para evaluar el desempeño de Colombia con dos referentes principales: • Puntajes promedio con base en niveles medios de ingreso y consideraciones regionales • Distribución de competencias en las 6 categorías provistas en PISA • Con base en lo anterior, identificó elementos de política que contribuyan a mejorar la calidad de la educación.

5. Agenda • Colaboración y dialogo entre Colombia y el Banco Mundial en el sector educativo • Tendencias del sector en Colombia • Hallazgos del reporte y análisis de los resultados de PISA 2006 • Opciones para una agenda

6. 2. Tendencias en el sector educativo colombiano • Colombia ha realizado mejoras loables en el acceso a la educación y la eficiencia interna: • La tasa neta de matrícula en educación primaria pasó de un 65% en 1985 a 90% en 2005. • La tasa neta de matrícula en educación secundaria aumentó de 34% en 1990 a 65% en 2006. • Entre 2004 y 2008, la matrícula de los estudiantes desplazados por la violencia se incrementó hasta casi alcanzar 290,000 estudiantes en todos los niveles. • La tasa de finalización primaria pasó de 68% en 1989 a casi 100% en 2005, un promedio por encima de la media regional para América Latina y el Caribe. • La tasa de finalización secundaria alcanzó 67% en 2005.

7. Sin embargo • Persiste una alta inequidad en el acceso y el alcance de logros en los aprendizajes entre los estudiantes Colombianos. • La tasa de finalización secundaria (una medida importante de eficiencia) continúa en niveles modestos, por debajo del potencial de un país con las características de Colombia. • Los resultados de las pruebas estandarizadas nacionales e internacionales apuntan a poner un mayor énfasis en mejorar la calidad de la educación, en particular, la de los logros de los aprendizajes.

8. Pruebas internacionales Fuentes: OECD, IEA, UNESCO/LLECE

9. Pruebas regionales Fuentes: OECD, IEA, UNESCO/LLECE

10. Agenda • Colaboración y dialogo entre Colombia y el Banco Mundial en el sector educativo • Tendencias del sector en Colombia • Hallazgos del reporte y análisis de los resultados de PISA 2006 • Opciones para una agenda

11. 3. Hallazgos del reporte y análisis de los resultados PISA 2006 • ¿Cuál fue el desempeño de Colombia en la prueba PISA 2006? • Posición baja al compararle con países de ingreso similar y de la región. • Resultados cercanos pero por debajo de las estimaciones basadas en el PIB y las características socioeconómicas de su población. • ¿Qué tan equitativos son estos resultados? • Los resultados, aunque bajos, parecen ser equitativos entre los distintos niveles socioeconómicos. • Los colegios de la muestra denotan heterogeneidad al interior del centro y homogeneidad al exterior. • ¿Cómo se distribuyen las competencias entre la población estudiantil? • Cerca de la mitad de los estudiantes no alcanzó el nivel de competencias básico en todos los temas de la prueba. • Las proporciones de estudiantes que lograron los niveles de competencias más altos (niveles 5 y 6) son mucho menores al 1%

12. PISA 2006 Fuente: PISA 2006

13. Desempeño en lectura PISA 2006, por puntaje alcanzado 550 500 450 400 350 300 Italia España Chile Israel Letonia Japón Irlanda Jordania Brasil Polonia Portugal Turquía Francia Croacia Islandia Grecia Austria México Noriega Estonia Serbia Eslovenia Bélgica Suecia Australia Hungría Túnez Canadá Tailandia Bulgaria Uruguay Colombia Alemania Lituania Rumania Argentina Azerbaiyán Indonesia Dinamarca Montenegro Suiza Países Bajos Liechtenstein Finlandia Reino Unido Promedio del grupo República Eslovaca Promedio del grupo República Checa Nueva Zelanda Promedio del grupo Hong Kong, China Promedio del grupo Federación Rusa Países de ingreso medio - bajo Países de ingreso medio - alto Países de ingreso alto (miembros OCDE) Países de ingreso alto (no miembros)

14. Desempeño en matemáticas PISA 2006, por puntaje alcanzado 600 550 500 450 400 350 300 Italia Israel Qatar Francia Japón Corea Polonia Finlandia Chile Irlanda Noruega Brasil Grecia Turquía Estonia Serbia Islandia Eslovenia Croacia Hungría Suecia Portugal España Canadá Austria México Lituania Tailandia Alemania Túnez Bulgaria Uruguay Colombia Jordania Rumania Australia Indonesia Bélgica Letonia Argentina Azerbaiyán Luxemburgo Países Bajos Suiza Dinamarca Montenegro Estados Unidos Hong Kong, China Nueva Zelanda República Checa Liechtenstein Reino Unido República Eslovaca Promedio del grupo Promedio del grupo Promedio del grupo Promedio del grupo Federación Rusa Países de ingreso medio - bajo Países de ingreso medio - alto Países de ingreso alto (miembros OCDE) Países de ingreso alto (no miembros)

15. Desempeño en habilidades y actitudes científicas PISA 2006, por puntaje alcanzado Países de ingreso medio - bajo Países de ingreso medio - alto Países de ingreso alto (miembros OCDE) Países de ingreso alto (no miembros)

16. 2% 0% 0% 8% 2% 17% 6% 23% 18% 23% 17% 29% 10% 45% Colombia Promedio OCDE Distribución de la población estudiantil en función de sus resultados en las pruebas de matemáticas PISA 2006

17. 1% 0% 1% 0% 5% 2% 6% 14% 24% 18% 28% 29% 45% 27% Colombia Chile

18. 0% 0% 0% 1% 2% 4% 6% 12% 26% 18% 30% 29% 28% 45% Colombia México

19. Distribución de competencias en matemáticas, por categoría de aptitud, para países participantes de América Latina

20. Distribución de competencias en matemáticas, por categoría de aptitud, para países participantes de ingreso medio-bajo

21. Recapitulando • En las últimas dos décadas, Colombia ha incrementado de manera importante las tasas netas de matrícula en educación primaria y secundaria, así como la tasa de finalización en primaria. • Sin embargo, Colombia necesita alcanzar incrementos similares en la tasa de finalización secundaria, así como redoblar esfuerzos para eliminar las desigualdades regionales en matrícula y logros académicos. • Igualmente, los resultados de las pruebas estandarizadas internacionales muestran que todavía hay espacio para mejorar la calidad de la educación en el país. • La evidencia más reciente de lo anterior, viene de los resultados nacionales en PISA 2006, donde Colombia obtuvo resultados por debajo de sus pares en la región y entre los países con niveles similares de ingreso. De manera preocupante, este bajo desempeño es más pronunciado en matemáticas, que en lectura y ciencias.

22. Recapitulando • Sin embargo, el resultado más inquietante de PISA 2006 tiene que ver con la distribución de competencias entre los estudiantes colombianos: • Casi la mitad de los estudiantes tuvieron un desempeño por debajo del nivel más básico de competencias en matemáticas. • Una alarmante mayoría (75%) se concentra en las dos categorías más bajas de competencias (nivel 1 y por debajo del nivel 1). • Menos del 1% de los estudiantes alcanzan los niveles más altos de competencias (niveles 5 y 6). • Estos resultados demandan mayores esfuerzos y respuesta inmediata de todos los actores involucrados en el sector (gobierno, educadores y público en general).

23. ¿Qué hacer al respecto? • Muchos países en desarrollo han logrado mejorar el desempeño académico de sus estudiantes. • Esto requiere de tiempo, esfuerzo y visión de largo plazo. • Los resultados de evaluaciones internacionales son insumos clave para el diseño de políticas.

24. Agenda • Colaboración y dialogo entre Colombia y el Banco Mundial en el sector educativo • Tendencias del sector en Colombia • Hallazgos del reporte y análisis de los resultados de PISA 2006 • Opciones para una agenda

25. Del análisis a las estrategias de respuesta • Revisión de la literatura internacional y colombiana sobre los factores determinantes de los aprendizajes • Análisis de los resultados de PISA 2006 y de factores determinantes del aprendizaje • Estudios de caso de países que han logrado incrementar con éxito los logros académicos de sus estudiantes • Revisión de las políticas y programas nacionales Fuentes del análisis • Continuar la participación del país en las pruebas internacionales para que los resultados retroalimenten la política educativa • Promover políticas que promuevan mejores aprendizajes entre los grupos desfavorecidos • Fortalecer el sistema de rendición de cuentas • Fomentar el uso eficiente de los recursos Opciones para un programa de políticas

26. ¿Qué nos dice la literatura sobre la influencia de las pruebas estandarizadas en los aprendizajes? • A nivel internacional: • Los datos de TIMSS sugieren que la aplicación de exámenes centralizados y de un escrutinio cercano del desempeño estudiantil con base en los resultados de los exámenes, la revisión de tareas y reuniones entre padres y maestros son factores asociados a un mejor desempeño estudiantil en matemáticas y ciencias. • Los estudiantes de escuelas aplican exámenes centralizados y cuentan con autonomía para decidir los salarios de los profesores, el contenido temático del programa curricular demostraron mejores resultados que aquellos en escuelas sin ninguna de estas características.

27. ¿Qué nos dice la literatura sobre la influencia de las pruebas estandarizadas en los aprendizajes? • Para el caso de Colombia: • Los datos de PIRLS no encontraron evidencia de que la aplicación de pruebas centralizadas o del curso influyeran en un mejor desempeño en lectura entre los estudiantes de educación primaria. • Utilizando los resultados de PISA 2006, el reporte encontró evidencia que el uso de los resultados de las pruebas estandarizadas como un insumo para mejorar la práctica docente tiene un efecto moderado y estadísticamente significativo en el desempeño estudiantil en matemáticas.

28. El caso de Jordania • Jordania ha participado en pruebas internacionales por más de 20 años. • Inicialmente sus niveles de logro académico fueron sumamente bajos. • El gobierno ha permanecido comprometido con el uso de los resultados de las pruebas para reformar el sistema educativo. • Los esfuerzos han valido la pena: en años recientes Jordania ha incrementado considerablemente sus puntajes.

29. ¿Qué funcionó en Jordania? • Benchmarking internacional permanente: WEI, IAEP II (1990), TIMSS (1999, 2003), PISA (2006). • Creación de un Comité de Expertos para analizar las causas de los bajos niveles de desempeño. • Diseño de una reforma del currículo con base en: • Identificación de fortalezas y debilidades por materia. • Comparación entre tipos de administración, regiones y zonas. • Entrenamiento de profesores. • Análisis de las características de los hogares. • Identificación de efectos positivos y negativos de prácticas en el aula y actividades extracurriculares.

30. Desafíos • Establecer metas de desempeño que alcanzar en rondas posteriores de PISA o TIMSS. • Analizar la mejor forma de vincular los contenidos y el método de evaluación de las pruebas nacionales a las de PISA. • Completar y continuar los esfuerzos para consolidar las bases de datos sobre aprendizajes existentes, para poder poner en marcha una estrategia de monitoreo y evaluación continua. • Cumplir con el llamado del Plan Decenal de Educación de vincular efectivamente el uso de los resultados de las pruebas para mejorar el desempeño de los estudiantes, los docentes, las escuelas y el sistema en general, además de involucrar al público en general en la discusión y el debate. • Presentar los resultados públicamente en un formato de fácil lectura, diseñado específicamente para distintos usuarios (administradores, tomadores de decisiones, personal escolar, padres de familia).

31. ¿Qué nos dice la literatura sobre la influencia que los factores asociados a la inequidad tienen sobre los aprendizajes? • A nivel internacional: • El nivel socioeconómico es el factor más importante que pronostica el grado de éxito en el desempeño estudiantil. • Sistemáticamente, las niñas tienden a superar a los niños en lectura, no así en matemáticas y ciencias. • Suficientes recursos educativos, como materiales y tiempo de instrucción, constituyen insumos necesarios para mejorar los colegios en los países en desarrollo. • Los programas de desarrollo de la primera infancia mejoran las habilidades cognitivas y el logro académico en años posteriores.

32. ¿Qué nos dice la literatura sobre la influencia que los factores asociados a la inequidad tienen sobre los aprendizajes? • Para el caso de Colombia: • Se corrobora la correlación entre nivel socioeconómico del hogar y el desempeño estudiantil, principalmente, en la alfabetización. • La infraestructura escolar, la disponibilidad de recursos educativos y la duración de la jornada escolar tienen un efecto substantivo en el desempeño escolar. • El modelo Escuela Nueva ha demostrado tener un impacto significativo en los aprendizajes y los logros escolares. • El programa Hogares Comunitarios ha promovido la matrícula en educación secundaria y las visitas al hogar han fomentado la atención integral y el desarrollo cognitivo de los niños menores de 5 años.

33. El caso de Chile • Programa P900 • P900 provee de asesoría técnica y recursos materiales al 10% de las escuelas con los desempeños escolares más bajos reportados en el examen nacional de habilidades estudiantiles. • La asesoría técnica se centra en 4 áreas: (1) capacitación docente, (2) atención especial y asistencia a estudiantes con tasas altas de desventaja escolar, (3) bibliotecas de aula y materiales pedagógicos, además de (4) apoyos para el mejoramiento de la infraestructura escolar. • P900 ha demostrado ser efectivo en reducir las brechas en los logros académicos entre las escuelas participantes y el resto de los colegios.

34. El caso de México • Programa CONAFE • Desde 1990, el Consejo Nacional de Fomento Educativo (CONAFE) ha puesto en marcha programas compensatorios (PC) que proveen materiales y recursos educativos a las escuelas menos favorecidas y a casi todas las escuelas indígenas de México, atendiendo así a casi 3 millones de estudiantes en pre-primaria y primaria. • Los PCs han demostrado ser mecanismos efectivos que mejoran los aprendizajes en matemáticas en escuelas de educación primaria y de lectura a nivel secundaria, además de reducir las diferencias en los resultados de pruebas estandarizadas asociados a factores de inequidad.

35. Desafíos • Establecer como prioridad No. 1 del sector, el garantizar que los estudiantes con los desempeños más bajos incrementen substancialmente sus logros en los aprendizajes. • Identificar cuáles son los factores detrás de las disparidades entre los logros académicos de los niños y las niñas, en Colombia. • Continuar con la evaluación y el ajuste continuo de los programas de atención a las áreas rurales, como los ofrecidos en el PER. • Evaluar la viabilidad de poner en operación un esquema de programas compensatorios similares a los de México y Chile, para reducir las desigualdades persistentes en el país. • Mantener el compromiso de expandir los servicios de atención a la primera infancia de los niños de 0 a 5 años, fortalecer las habilidades pedagógicas de los educadores de este nivel y establecer un sistema de acreditación para los proveedores de estos servicios.

36. ¿ Qué nos dice la literatura sobre la influencia de los sistemas de rendición de cuentas en los aprendizajes? • A nivel internacional: • Los flexibilidad en el contenido y el método de instrucción, la operación de un sistema de rendición de cuentas efectivo en la evaluación, la supervisión y el acompañamiento, además de un involucramiento cercano de la comunidad y los padres, han demostrado ser factores que promueven mejores resultados académicos en los países en desarrollo. • Aún cuando las características particulares que identifican a un docente de calidad no han sido claramente definidas, existe evidencia creciente de que los docentes con mayores aptitudes pedagógicas son el ingrediente clave para un mejore desempeño estudiantil.

37. Cont. • En México, las expectativas de los maestros sobre los estudiantes, la autonomía escolar, el uso sistemático de la evaluación y la rendición de cuentas en el centro escolar, han sido identificados como factores asociados a mejores aprendizajes. • En los Estados Unidos, la operación de sistemas de rendición de cuentas han sido asociados con mejores desempeños en los aprendizajes, con un efecto mayor si los resultados se vinculan a la actuación colegio que si sólo se reportan. • En Argentina, la descentralización ha sido señalada como un factor que contribuye a mejores aprendizajes pero sólo en provincias afluentes o con sistemas de rendición eficientes.

38. ¿Qué nos dice la literatura sobre la influencia de los sistemas de rendición de cuentas en los aprendizajes? • Para el caso colombiano: • Los colegios privados superan a los públicos debido a características asociadas con los sistemas de incentivos para el desarrollo docente. • Los colegios que operan el modelo Escuela Nueva superan a los colegios públicos debido a que las características del modelo pedagógico generan incentivos para la mejora continua. • El programa de colegios concesionados de Bogotá ha demostrado reducir las tasas de deserción escolar e incrementar los puntajes promedio de sus estudiantes en comparación con los de aquellos de colegios similares. • La evidencia existente sobre la certificación de municipios sugiere que este mecanismo reduce la ineficiencia en la provisión del acceso a servicios de calidad, disminuyendo los desajustes en la asignación de responsabilidades sobre los logros escolares en municipios no certificados.

39. Cont. • El análisis de los resultados de PISA 2006 encontró evidencia de que: • La autonomía del colegio para despedir profesores tiene un efecto negativo y estadísticamente significativo sólo para el quintil más bajo de ingreso, lo que podría ser el resultado de la causalidad inversa donde en realidad las peores escuelas están de hecho despidiendo a los peores profesores. • La autonomía para seleccionar el método pedagógico demostró tener un efecto positivo aunque no estadísticamente significativo, sólo para los quintiles con mejor desempeño. • La certificación docente parece tener un efecto grande, positivo y significativo para todos los quintiles de desempeño.

40. El caso de Chile • Desde 1990, Chile ha ido construyendo un sistema integral de rendición de cuentas que complementa su tradición descentralizadora y de evaluación estandarizada de los aprendizajes, con (1) reformas curriculares que promueven el desarrollo de habilidades de pensamiento analítico, (2) programas compensatorios a zonas menos favorecidas y de bajo ingreso, (3) uso sistemático de resultados de las evaluaciones, y (4) el establecimiento de un marco institucional que asegure la calidad de la educación. • Las reformas curriculares y los programas de mejoramiento de la calidad han sido señalados por el incremento sostenido en los resultados de las pruebas estandarizadas desde la década de los 90s así como de los impresionantes resultados nacionales en PISA 2006, que registraron un incremento de 34 puntos entre las evaluaciones de 2002 y 2006.

41. Cont. • Desde 2006, el Ministerio de Educación de Chile ha preparado reportes estadísticos publicando los resultados de las pruebas a nivel de los estudiantes y las escuelas, los cuales son utilizados principalmente por los padres de familia para seleccionar colegios donde matricular a sus hijos, por los tomadores de decisiones para distribuir recursos de manera más eficiente, y por los medios de comunicación para ampliar el debate sobre la calidad de la educación en el país. • En el mismo año, el gobierno anunció cambios importantes en las políticas educativas que incluyen la creación de la Superintendencia de Educación, encargada de supervisar que las escuelas cumplan de conformidad con los estándares de calidad en la enseñanza y de no hacerlo, aplique las sanciones correspondientes.

42. Desafíos • Analizar la posibilidad de establecer un sistema nacional de evaluaciones de salida que determine la aptitud del estudiante para avanzar al siguiente ciclo de educación. • Investigar la capacidad de las entidades sub-nacionales para despedir o reubicar a los docentes que no cumplen con los estándares mínimos de competencias, y en caso de ser necesario, ofrecer apoyo técnico para fortalecer esta capacidad institucional. • Crear estándares básicos de desempeño escolar además de sanciones apropiadas para cada nivel de desempeño a través de un proceso de certificación de la calidad. • Ampliar la base de conocimiento sobre la magnitud y la forma en que los colegios ejercen su autonomía para decidir métodos de instrucción, personal y uso de los recursos.

43. Cont. • Continuar el apoyo a los de municipios para que puedan establecer el cumplimiento del ejercicio exitoso de sus programas como una condición para mantener la operación de los colegios concesionados. • Articular de mejor manera, las responsabilidades, las líneas de autoridad y la capacidad institucional en las entidades sub-nacionales, en particular en los municipios no certificados, para asegurar la provisión efectiva de la oferta educativa. • De igual manera, será necesario evaluar la mejor manera de certificar a los municipios hasta ahora no certificados. • Involucrar a los padres de familia y a la comunidad en la discusión pública sobre el establecimiento de metas claras y de la visión que se busca de la totalidad del sistema educativo.

44. ¿Qué nos dice la literatura sobre el efecto del uso apropiado de los recursos en el logro en los aprendizajes? • A nivel internacional: • No existe evidencia definitiva sobre la relación entre el uso de los recursos y el logro en los aprendizajes. La evidencia existente sugiere que los resultados dependen de las variaciones en la interacción entre recursos y la aptitud y habilidades de los docentes, entre otros factores. • Medidas simples y aisladas como reducir el tamaño de los grupos, incrementar los salarios de los docentes o el gasto en las escuelas tienen poco impacto en el aprendizaje de los estudiantes si la estructura institucional permanece sin cambios. • Sin embargo, se ha identificado que el intercambio de información sobre el desempeño de los colegios y los estudiantes, sobre el contexto en el que se desarrollan y sobre el ingreso, contribuyen a establecer asignaciones eficientes de los recursos y medidas compensatorias.

45. ¿Qué nos dice la literatura sobre el efecto del uso apropiado de los recursos en el logro en los aprendizajes? • Para el caso colombiano: • El tamaño de los grupos ha demostrado no tener un efecto estadísticamente significativo. • Los municipios no certificados parecen ser menos eficientes que los municipios certificados en garantizar el acceso y la calidad de los servicios educativos, aún entre municipios con características similares.

46. Desafíos • Apalancar los esfuerzos por mejorar la calidad de la educación en el país en los incrementos recientes al gasto del sector. • Buscar estrategias que promuevan un uso más eficiente de los recursos en las entidades sub-nacionales que demuestren mayores debilidades. • Ampliar y profundizar la práctica de asignaciones presupuestales en función de las características de los estudiantes y las escuelas. • Conducir evaluaciones del costo-beneficio de los programas y políticas existentes para informar la toma de decisiones ante un contexto de limitados recursos económicos y financieros.

47. ¿Cuál es el mensaje para Colombia? • Varios países en desarrollo han demostrado que sí es posible mejorar el logro académico de los estudiantes. • Muchos han logrado avances importantes en materia de calidad educativa a pesar de condiciones iniciales poco favorables como: • El pronunciado crecimiento de la población, • El incremento de los niveles de matrícula, • Puntajes promedio iniciales muy bajos, y • Un contexto macroeconómico limitado, resultado de la actual crisis económica.

48. ¿Cuál es el mensaje para Colombia? • Colombia ha demostrado que tiene la capacidad para generar consensos (Plan Sectorial de Educación) y programas encaminados a mejorar la calidad de la educación. • Por ello, Colombia puede y tiene que seguir adelante, redoblando esfuerzos y poniendo en marcha medidas complementarias conducentes a incrementar la calidad de la educación en el país.

49. ¡Muchas gracias!