Problemas 1998 (1)

1. Las evaluaciones educativas que América Latina necesita: principales avances desde los ochenta hasta la actualidadCurso regional “Evaluación nacional de logros de aprendizaje escolar”Primer tallerPatricia ArreguiJuan Dolio, República Dominicana, 23 de enero del 2008

2. Problemas 1998 (1) • débil cultura evaluativa y legitimidad vulnerable de los “sistemas” evaluativos hasta entonces existentes • compromiso de largo plazo relativamente débil con el desarrollo de capacidades y experiencias evaluativas  falta de cuadros políticos y técnicos con los cuales desarrollar e implementar las políticas • actitudes negativas, resistentes o ambivalentes de las organizaciones magisteriales hacia los objetivos o métodos evaluativos

3. Problemas 1998 (2) • insuficiente análisis de los resultados y los factores a ellos asociados • insuficiente claridad de los objetivos de las políticas de evaluación, falta de guías y orientación con las cuales interpretar correctamente los resultados, escasa generación de recomendaciones específicas de políticas o acciones orientadas a renovar las prácticas y resultados pedagógicos

4. Problemas 1998 (3) • escasa utilización de los datos para hacer investigación orientada a políticas • limitado intercambio de las lecciones aprendidas en distintos países en base a sus experiencias iniciales • discusión muy limitada sobre políticas de estándares y su posible vinculación con la evaluación

5. 1996 1996 1991 Primeras Pruebas Nacionales 1998 1997 1993 2002 1998 1986 2005 1991 1996 1990 1996 1996 1996 1982 1996 1993 Fuente: Sistemas de evaluación de aprendizajes en América Latina. Balances y desafíos. PREAL, 2006.

6. Sistemas subnacionales • Bogotá (Colombia) • Paraná, São Paulo, Minas Gerais (Brazil) • Buenos Aires Province and City (Argentina) • Nueva León, Sonora and Aguas Calientes (Mexico)

7. ¿Qué y a quiénes se evalúa? • Las pruebas muestrales son las más frecuentes, pero hay mayor presencia de pruebas censales • Se empezó con matemáticas y lenguaje en el nivel primario • Hoy en día, otras “materias” y niveles educativos

8. ¿Qué se mide en las evaluaciones nacionales? Grados Áreas Lengua Matemática Ciencias Estudios Educación Sociales Cívica

9. ¿Cómo se evalúa? • Todos usan mayoritariamente ítems de respuesta cerrada u opción múltiple, aunque crecientemente se incluyen preguntas abiertas • Las pruebas referidas a criterios o estándares empiezan a remplazar las iniciales pruebas referidas a normas • El referente formal es siempre el currículo • Se empieza a vincular consecuencias a los resultados de las pruebas

10. ¿Cómo se evalúa (2)? • Muestrales vs. censales • Tipos de ítems • Determinantes o “factores asociados” • Frecuencia • Valor agregado (pre/post o referidas a grupos de comparación relevantes) • Uno o varios idiomas • Quién aplica

11. ¿Quién realiza las evaluaciones? • Unidades especializadas dentro de los Ministerios de Educación con grados relativos de autonomía • Instituciones autónomas con diferentes mecanismos de coordinación con los Ministerios de Educación • Agencias externas contratadas por los Ministerios de Educación • Unidades especializadas dentro de estructuras administrativas intermedias de gestión sectorial • Organizaciones independientes

12. Diversos arreglos institucionales • Brasil, Colombia y México: instituciones externas, autónomas o semiautónomas • Guatemala, Honduras: terciarización importante • En varios países se ha cambiado la locación • No hay tendencia clara que muestre “superioridad” de algún arreglo en cuanto a estabilidad, flexibilidad y consistencia • Algunos son autónomos, estables y prestigiosos; otros son aún vulnerables a interferencias políticas

13. ¿Qué clase de resultados se encuentran? • Promedios más bajos que lo esperado (aun cuando las expectativas no estaban claramente definidas de antemano) • Enormes diferencias en los promedios brutos de diversas unidades geográficas y administrativas, poblaciones urbanas y rurales, entre escuelas públicas y privadas, pobres y no pobres, poblaciones indígenas y no indígenas • Cuando se hacen comparaciones entre grupos con rasgos socio-económicos similares, las diferencias entre privada y pública, e incluso entre urbana y rural en algunos casos, tienden a disminuir o desaparecer, aunque la evidencia varía • Diferencia cada vez menor, si alguna, entre niñas y niños • Cambio “lento” en los resultados

14. ¿Qué clase de resultados se encuentran? (2) • Clima escolar • Expectativas altas • Estabilidad y liderazgo pedagógico del director • Asignación de tareas a realizarse en casa • Cobertura curricular • Recursos materiales, bibliotecas de aula • Efecto de los pares (social y académico) • Satisfacción laboral • Dominio de las materias por parte de los docentes • Uso de la evaluación como instrumento pedagógico • Experiencia y calificaciones formales de los docentes • Educación de los padres y características socio-económicas

15. ¿Cómo se informa sobre los resultados? El Informe Único   Autoridades Público general Actores de la escuela Padres

16. ¿Cómo se difunde los resultados? • Presentación a las altas autoridades • Conferencias de prensa • Notas de prensa • Entrevistas a autoridades y expertos en los medios • La prensa • Informes para escuelas participantes/alumnos • Reuniones específicas convocadas por directores, supervisores o enviados de instancias superiores

17. ¿Cómo se utiliza los resultados? (1) • Diseño de políticas y asignación de recursos • Informar y movilizar a los funcionarios públicos, las escuelas y al público en general • Establecer prioridades generales para la formulación de políticas y programas • Seleccionar escuelas o grupos de población que ameritan apoyo especial • Realizar investigaciones y evaluar las políticas y los programas

18. ¿Cómo se utiliza los resultados? (2) • Transformación pedagógica • Aclarar y elevar las expectativas de aprendizaje: revisar los currículos y establecer estándares • Diseñar programas de apoyo • Diseñar planes de mejoramiento escolar • Ofrecer oportunidades de desarrollo profesional para el profesorado y los supervisores

19. ¿Cómo se utiliza los resultados? (3) • Promover la responsabilidad, el “accountability” y/o la libre elección de escuela • Seleccionar las escuelas para reconocimientos, premios, responsabilidades o sanciones • Evaluar el desempeño de los maestros y asignar incentivos • Fijar metas para la mejoría • Promover la libre elección de las escuelas

20. Participación en pruebas regionales e internacionales

21. Participación en pruebas internacionales • Ha afectado principalmente a la opinión pública • Los gobiernos no especificaron suficientemente los objetivos de su participación ni comunicaron adecuadamente los resultados • Los puntajes relativamente bajos han detonado preocupaciones nacionales • Contribuyó enormemente a desarrollo de capacidades técnicas y analíticas

22. Progreso desde 1998 • Mayor transparencia • Pruebas referidas a criterios: mejor no es igual a bueno, ni peor igual a malo • Mayores capacidades técnicas • Más atención a difusión • Más investigación sobre factores que inciden en aprendizajes • Mayor uso de resultados para • Incrementar conciencia pública • Mejorar políticas • Realizar estudios y evaluación de políticas y programas • Establecer estándares de aprendizaje • Seleccionar escuelas o grupos de estudiantes para apoyo especial • Mejorar la enseñanza • Promover la responsabilización

23. Progreso sustancial • La calidad y la equidad en las oportunidades de aprendizaje se han colocado al centro del discurso, de las preocupaciones y del análisis para reformas y mejoras • Emergencia de una “cultura de la evaluación” • Desarrollo de capacidades, experiencia creciente e intercambios • Apertura hacia la revisión y la mejoría de los enfoques, métodos, análisis y difusión • El profesorado se interesa cada vez más en el potencial de las evaluaciones adecuadamente utilizadas para propósitos de desarrollo profesional y mejoría escolar • Mayor interés en entregar los resultados a las escuelas y a actores no tradicionales

24. Sin embargo…. Sería prematuro decir que en la mayoría de los países latino-americanos se ha establecido ya mecanismos institucionalizados y permanentes que permiten fijar y revisar continuamente las metas de aprendizaje y medir su logro. Sólo en unos pocos países las pruebas de logros y otros tipos de evaluaciones de resultados e informes están enmarcados o alineados dentro de un conjunto de normas sobre el tipo de uso que se dará a la información generada y dentro de un conjunto de políticas bien integradas, claras y equilibradas para mejorar el aprendizaje y para una responsabilización adecuada.

25. Debilidades persistentes • Insuficiente definición de propósitos y tiempos necesarios • Multiusos • Insuficiente acuerdo sobre prioridades y metas curriculares • Calidad de la investigación sobre factores requiere mejoras en instrumentos • Inacción frente a resultados por desarticulación (además de falta de compromiso) • Divulgación aún no comprensible a distintas audiencias • Insuficiente atención a diversidad de contextos, valor agregado • Inversión en desarrollo profesional insuficientemente sostenida

26. Retos principales • Aclarar y legitimar socialmente los propósitos y procesos de la evaluación • Aclarar las metas de aprendizaje • Seleccionar qué se medirá y cómo, según los propósitos • Selección de un marco institucional apropiado • Mejoría en los instrumentos y procesos de las pruebas • Más y mejores análisis de datos • Más y mejor diversificados informes • Más y mejor diseminación de resultados • Uso apropiado de los resultados para la toma de decisiones • Decisión de asumir costos de mejorías necesarias

27. Las evaluaciones educativas que América Latina necesita: retos políticos y desafíos técnicosCurso regional “Evaluación nacional de logros de aprendizaje escolar”Primer tallerPatricia ArreguiJuan Dolio, República Dominicana, 23 de enero del 2008

28. Objetivos de “Las evaluaciones educativas que América Latina necesita” • Destacar y explicar importancia de evaluación de logros como instrumento para mejorar políticas y prácticas • Ayudar a comprender y analizar diversas opciones en cuanto a propósitos y usos de la evaluación y las implicancias de cada una, para orientar diseño de estrategias • Mostrar la necesidad de tener propósitos claros, visión de responsabilidad compartida, diseño de calidad y alineado con propósitos, orientación al apoyo a los docentes y decisión de acción • Mostrar necesidad de invertir a largo plazo • Contribuir a evitar visiones simplistas e ingenuas que llevan a efectos perversos, desperdicio de recursos y descrédito de la evaluación externa

29. Evaluar es indispensable • Los procesos y logros educativos no son directamente “visibles” • Acceso al sistema no es igual a aprendizaje • El debate ciudadano sobre educación requiere información transparente sobre aprendizaje • Los educadores y conductores de la educación necesitan información externa

30. Realizar evaluaciones estandarizadas no significa negar la diversidad cultural • La educación es un bien público y un derecho de todos los ciudadanos • El Estado Nacional tiene la obligación de garantizar a todos los ciudadanos un conjunto de conocimientos y capacidades fundamentales para participar en una sociedad democrática • La evaluación estandarizada no pretende ni puede abarcar todos los aprendizajes y finalidades educativas. Pruebas estandarizadas no es sinónimo de calidad educativa.

31. ¿Qué información es necesaria? (I) ¿en qué medida los alumnos están aprendiendo lo que se espera de ellos al finalizar ciertos grados? ¿cuál es el grado de equidad o inequidad en el logro de dichos aprendizajes? ¿cómo evolucionan a lo largo de los años, tanto los niveles de logro como la equidad? ¿cómo inciden las desigualdades sociales sobre las oportunidades de aprendizajes?

32. ¿Qué información es necesaria? (I) ¿cómo inciden las prácticas educativas y la evaluación que se realiza en las aulas, en los aprendizajes en diversos contextos sociales? ¿cómo influyen las condiciones de la enseñanza (situación de los maestros, recursos, tiempos de estudio etc.) en el progreso de los estudiantes? ¿cuál es el efecto en los logros educativos de las inversiones en programas educativos, los cambios en la estructura del sistema, los cambios curriculares, los programas de formación, la adquisición de material educativo, entre otros?

33. Diseño (1) • Definir con claridad cuáles serán las finalidades y para qué se usarán los resultados: diagnóstico, certificación • Debida consideración a las ventajas, requerimientos, implicancias, riesgos y costos de esas distintas opciones • Construir un acuerdo social amplio en torno a cuáles son los conocimientos y capacidades fundamentales que el Estado debe asegurar a todos y cuáles de ellos pueden y deben medirse “externamente” a las escuelas

34. Diseño (2) • Decisión sobre evaluaciones censales o muestrales debe ser tomada en función a los usos que se quiera y pueda dar a la información • Una adecuada estrategia de comunicación hacia diferentes públicos, antes, durante y después de la evaluación – inversión en ella debe ser significativa • Los docente deberían ser usuarios privilegiados de la información generada y destinatarios dialogantes de los esfuerzos de comunicación, que debieran diseñarse con ellos en mente

35. Calidad técnica (1) • Difundir es importantísimo – pero sólo si las pruebas son de buena calidad • Referentes curriculares claros y “nutridos” de lo que ya se sabe sobre cómo, cuándo y cuánto aprenden los estudiantes • Ítems sencillos y complejos, bien “piloteados” • Preguntas abiertas – todo lo posible • Formas rotadas para poder cubrir mejor el currículo

36. Calidad técnica (2) • “Puntos de corte” o niveles de desempeño bien definidos – especialmente lo “aceptable” (no 51% correcto) • Muestras apropiadas para los propósitos de la evaluación – lo censal no es necesariamente lo mejor; siempre señalar y considerar márgenes de error en los análisis • Comparaciones a lo largo del tiempo – para medir realmente el “aprendizaje” – requieren cuidadoso diseño de muestras y pruebas

37. Calidad técnica (3) • Documentación rigurosa de los procedimientos seguidos • Control cuidadoso de la aplicación, para que información sea confiable y comparable • Complementación con estudios cualitativos

38. Criterios para la difusión y uso (1) • La evaluación debe estar al servicio del desarrollo de un sentido de responsabilidad compartida por la educación como bien público – evitar culpabilización y exoneración de propia responsabilidad de grupo alguno • El logro educativo de los estudiantes es el resultado de una gran cantidad de factores, entre ellos, del esfuerzo del estudiante por aprender • Es inapropiado utilizar los resultados de las pruebas estandarizadas como indicador principal ni menos aun exclusivo de la calidad del trabajo del docente o de la escuela • La responsabilidad por los resultados requiere de una adecuada combinación entre las exigencias y los apoyos a las escuelas y a los docentes

39. Criterios para la difusión y usos (2) • Para facilitar la comprensión y uso de los resultados, no basta con ofrecer resultados numéricos • Cualquier comparación de resultados entre escuelas debe tomar en consideración el tipo de población con el que trabaja cada escuela • Al reportar las diferencias de resultados en función de la composición sociocultural del alumnado de las escuelas, se debe cuidar de no crear un sistema de expectativas de logro diferenciado por grupos sociales • La mayoría de “rankings” de escuelas transmiten una idea equivocada acerca de la calidad educativa

40. Criterios para la difusión y usos (3) • El modo más apropiado de valorar los avances en el sistema educativo es medir el progreso de los estudiantes a lo largo del tiempo • Las autoridades educativas y políticas deben asumir un compromiso serio de acción, consistente con los resultados de las evaluaciones: interpretación, discusión, comunicación, espacios reflexión para docentes, capacitación, clarificación de expectativas de aprendizaje, afinamiento gradual de las evaluaciones • Debe evitarse todo uso de los resultados que, directa o indirectamente, propicie la selección de estudiantes por parte de las escuelas

41. Las unidades de evaluación (1) • El diseño y establecimiento inicial de un sistema de evaluación serio requiere de un tiempo mínimo de dos o tres años. • El desarrollo de un sistema de evaluación requiere de una planificación a 10 o 15 años y estabilidad de cuadros técnicos. • Dentro o fuera? -- depende … • Independencia para reportar los resultados (pero coordinación para diseño y desarrollo de las evaluaciones)

42. Las unidades de evaluación (2) • Necesidad de mandato claro e institucionalidad sólida • Órganos de gobierno y asesoría técnica plurales e independientes, presupuesto, tiempos • Articulación con formación docente, desarrollo curricular, producción de textos, formulación de planes, programas y proyectos • No solo producción de datos – análisis de políticas, análisis pedagógicos, comunicación por sí mismo o vía terceros con quienes se dialoga

43. La evaluación no produce mejoras por sí misma Para que tenga algún impacto, la evaluación debe ser concebida como un elemento alineado en un conjunto más amplio de acciones y políticas educativas: • apoyo a escuelas en sectores desfavorecidos, • dotación de recursos materiales y didácticos, • inversión en formación docente, • mejora de la gestión, • mejora de las condiciones de trabajo docente, • apoyo a los estudiantes con dificultades • enseñanza y evaluación en el aula

44. Los costos de las evaluaciones • Los costos de las evaluaciones son viables y sostenibles para casi todos los países, comparados con otras innovaciones • Pero los costos de evaluaciones que no se difunden ni usan o – peor aun – los costos de malas evaluaciones que se difunden y usan pueden ser muy altos • Más vale un sistema de evaluación modesto pero con costos asequibles y sostenibles en eltiempo, que una gran evaluación, amplia y sofisticada, que podrá realizarse una vez pero no podrá replicarse.

45. Las comparaciones entre escuelas • Aunque los resultados de pruebas estandarizadas no dan cuenta en forma exhaustiva de la calidad educativa de una escuela, sí aportan información relevante de los niveles de desempeño alcanzados • Para que la comparación entre los niveles de desempeño de los estudiantes sea apropiada, se deben considerar sus condiciones sociales de origen • Las comparaciones entre escuelas deben considerar la diferencia entre medir el “logro educativo” y medir el “aprendizaje” • Los resultados expresados en términos de rankings de escuelas deben ser mirados con precaución

46. Itinerario para la instauración o reforma de un sistema de evaluación • ¿Para qué se quiere evaluar? ¿Quiénes usarán los resultados y con qué propósitos? ¿Qué se espera saber que no se sepa ya? • ¿Cuáles serán las unidades de análisis para el reporte de resultados: estudiantes individuales, grupo de clase/maestros, escuelas, tipos de escuela, entidades subnacionales, sistema educativo? • De acuerdo a los propósitos definidos, ¿qué es más apropiado evaluar – aprendizaje o logro educativo – al egreso de determinados grados o ciclos? • ¿Qué tipo de consecuencias tendrán los resultados y para quiénes? • De acuerdo a los propósitos definidos, ¿es necesario trabajar en forma censal o son suficientes evaluaciones en base a muestras? • ¿Qué grados y qué disciplinas es importante evaluar? • ¿Cada cuánto tiempo es necesario y adecuado realizar las evaluaciones?

47. No harás daño No evaluarás en vano El consumo excesivo de este producto puede resultar perjudicial para la salud El consumo exclusivo de este producto también puede resultar perjudicial para la salud Vísteme despacio, Sancho, que estoy apurado

48. http://www.preal.org http://www.preal.org/Grupo2.asp?Id_Grupo=3