Workshop InovAval: Inovação e Avaliação com Tecnologias da Informação - UFRGS

1. Workshop InovAval: Inovação e Avaliação com Tecnologias da Informação - UFRGS El Programa de Evaluación Institucional de la Udelar: 10 años de implementación A r q. E r n e s t o D o m í n g u e z j u l i o 2 0 0 9

2. El Programa de Evaluación Institucional de la Udelar Desarrollo 1997 Antecedente: Evaluación Area Tecnológica 1998 CDC integró un Grupo de Trabajo Lineamientos para un Programa de Evaluación institucional de la Universidad de la República CCEI organizó actividades de difusión y formación en la temática 1999 Se aprueba Programa de Evaluación Institucional 2000 Pautas para la presentación del Informe de Autoevaluación • Pautas para la elaboración de la Evaluación Externa • 2008 Fin de etapa. Vinculación Evaluación - Acreditación

3. O b s t á c u l o s p a r a l a E v a l u a c i ó n “entorpecen el posible emprendimiento de políticas de evaluación institucional un conjunto de circunstancias internas: la INSUFICIENCIA DE MEDIOS E INFRAESTRUCTURAS en condiciones de ser orientadas de manera idónea a la gradual incorporación de la evaluación como un ingrediente sostenido de la operativa universitaria; la ESCASEZ DE PERSONAL ESPECIALIZADO en las tareas, metodologías y técnicas de la evaluación; la CARENCIA DE UN CUADRO NORMATIVOdestinado a regular y sustentar jurídicamente la autoridad de los organismos eventualmente responsables de los procedimientos evaluatorios; la SEGMENTACIÓN DE INTERESES competitivos que conviven respaldados en las prerrogativas de los distintos servicios universitarios; la ausencia en muchas zonas del quehacer universitario de una “CULTURA DE LA EVALUACIÓN”, capaz de asegurar el necesario espíritu cooperativo de los actores responsables de suministrar información completa y confiable; la presencia de contextos de RESISTENCIA IDEOLÓGICA anclados en climas culturales tradicionales y sensibilidades rutinarias poco propensas a la renovación de la vida universitaria”. (Landinelli)

4. Motivos de implantación Conceptual Rendición social de cuentas yfortalecimiento del crédito Mejora permanente y mayor transparencia Contexto de transformación universitaria Construcción de un sistema de aseguramiento de calidad Oportunidad Mayor legitimidad para pedidos presupuestales Concepción de que no se evalúa por el estado

5. Estructura Comisión Central de Evaluación Institucional Coordinadores por área Comisiones de Evaluación por área Comisiones de Evaluación Institucional por Facultad Comité de Pares Externos.

6. Conceptos CALIDAD “a) La calidad de la enseñanza superior es un concepto pluridimensional que debería comprender todas sus funciones y actividades: enseñanza y programas académicos, investigación y becas, personal, estudiantes, edificios, instalaciones, equipamiento y servicios a la comunidad y al mundo universitario. Una autoevaluación interna y un examen externo realizados con transparencia por expertos independientes…” Declaración de la Conferencia Mundial sobre la Educación Superior. UNESCO. París. 1998

7. Características Contextualizado Voluntario Autorregulado Periódico Participativo No punitivo Integral Unidad de análisis: las facultades Autoeval., eval.externa, plan de mejoras Dimensiones y lineamientos (no indicadores) Evaluación externa: pares académicos (propuestos por la facultad)

8. El Programa de Evaluación Institucional de la Udelar - 2009

9. 7 componentes

10. 1 etapas / modelo 7 componentes

11. M o d e l o “No debe haber un molde único en que todas las instituciones quepan igualmente. Cada institución universitaria debe buscar establecer, con toda claridad y con el máximo grado posible de acuerdo interno,…..cuál es la identidad que quiere construir y cuáles son los compromisos sociales que de una forma determinante quiere cumplir para justificar públicamente su existencia. …” Días Sobrinho

12. Caracterizado por la forma de gestión de la institución • Objetivo: mejora de la calidad y rendición de cuentas • Sin consecuencias directas. Construcción de un plan de mejoras • Libre – autorregulado por cada facultad. Cada institución construye su modelo para la emisión de juicios de valor. • Evaluación de objetivos, de insumos, de procesos. Los impactos no aparecen claramente determinados

13. D i s e ñ o d e u n P r o g r a m a • generación de la estructura • definición del equipo técnico • formulación del plan de trabajo (difusión, validación, responsabilidades, estrategias) • definición de dimensiones, criterios, indicadores y fuentes • formulación de una estrategia de construcción de la información • definición de una estrategia e instrumentos para la participación • definición de dispositivo para la redacción del informe • preparación de la evaluación externa • plan de mejora • efectos del proceso

14. 2 las autoridades 7 componentes

15. TONO DEL PROCESO COMPROMETIDO vs. FORMAL CON PERSPECTIVA vs. PARA SALVAR FUNCION LIDERAZGO CONVENCIMIENTO “son las propias universidades las que deben tomar la iniciativa de poner en marcha el proceso” ¿ ?

16. 3 la información 7 componentes

17. LA INFORMACIÓN DEBER SER Debe dar cuenta de lo que se afirma “me parece…” no es una fuente válida Precisa Pertinente Útil Suficiente Temporal Ilustrar los items fundamentales “Nuestra carrera es muy particular” Con algún sentido No convertir al proceso en una búsqueda de datos Información como series y contextualizada en el tiempo

18. TIPO DE INFORMACIÓN cualitativa y cuantitativa registro de actividades y resultados desagregación de lo micro a lo macro Equilibrado e integral Importancia a los procesos y a los resultados estos procesos no trabajan sobre lo micro (evaluar un profesor, una materia, etc), ni en niveles macro (la política educativa, el sistema de educación), por lo que nos manejamos en niveles de desagregación intermedios.

19. LOS DATOS FALTA O IMPRECISIÓN EXCESO (DATOS O INSTRUMENTOS CUANTITATIVOS) dificulta la percepción de lo relevante condena a la evaluación al subjetivismo puro reduce la evaluación a lo tecnocrático “reduccionismo del objetivismo”

20. LA INFORMACIÓN ES UNO DE LOS PRINCIPALES ESCOLLOS banco de datos para ADMINISTRAR versus para PLANIFICAR destruir “la profecía autocumplida”, (el hecho de buscar la información de acuerdo a ”lo que ya se que va a decir el informe”. ) LA CONSTRUCCIÓN DE LA INFORMACIÓN ES PARTE DE LA INVESTIGACIÓN

21. 4 la participación 7 componentes

22. OBSTACULOS temor punitivo a cualquier proceso de evaluación divergencias en torno al concepto de calidad intereses competitivos ausencia de cultura de la evaluación miedo a la pérdida de autonomía versus fortalecimiento de la autonomía

23. “No hay proceso sin participación” ¿cuál es una participación que valida la autoevaluación? • Participación en cantidad pero también en cualidad • Abandonar la construcción del asambleísmo masivo • Componer la participación por diversidad y cruces • Una tarea es pensar, construir, e inventar formas de participación.

24. SUJETOS DE LA EVALUACIÓN “….En épocas de fuerte retracción de la participación ciudadana y de desconfianza fundada en las instituciones más tradicionales, si se desea realmente invertir la tendencia, será necesario no solo abrir el espacio desde el diseño del proyecto de autoevaluación, sino también en no pocas oportunidades, la tarea pasará por convencer a los sujetos de la importancia y valor de su palabra, así como garantizar con hechos concretos el respeto a sus ideas e interpretaciones.” “el punto de partida fue definir al interior de los grupos universitarios, que el proyecto era de ellos, y que por lo tanto, eran ellos quienes debían tener el poder de las decisiones” (Lic. Susana Celman)

25. 5 equipo técnico 7 componentes

26. REQUERIMIENTOS • ¿Es la autoevaluación un trabajo de especialistas? • recursos humanos con un cierto saber • teórico o experimental en la temática • recursos de la propia institución, que • trabajen como “sujetos políticos” para • construir un ambiente que garantice • prácticas democráticas • Necesidad de trabajo técnico – • administrativo especializado • Acceso a asesoramientos • “especializados”

27. LA COORDINACIÓN ¿Quién coordina el proceso de evaluación? COORDINADOR debe conocer la temática y su instrumentación • de la institución • mayor conocimiento de la institución • implicancia en los juicios • relaciones interpersonales • externo a la institución • mirada “descontaminada” • validación de su “saber” • mayor respeto frente a obligaciones y derechos

28. 6 el informe 7 componentes

29. CARACTERISTICAS • Tecnico • Representativo • Analítico • Equilibrado • Realista

30. DESVIACIONES COHERENCIA VS PARTICIPACIÓN Y DIVERSIDAD AUTOCOMPLACENCIA VS VICTIMIZACIÓN CONOCIMIENTO VS RELEVAMIENTO ¿Hubo producción de conocimiento?

31. 7 comparabilidad 7 componentes

32. DESVIACIONES RANKINGS VS APRENDIZAJE

33. 7 + 1 final

34. FINAL obstáculos enfrentados carencia de un cuadro normativo segmentación de intereses “cultura de la evaluación” resistencia ideológica escasez de personal especializado insuficiencia de medios e infraestructuras

35. FINAL Incorporación a la agenda Respaldo a autoridades Planes de mejora en todos los servicios Impulso de transformaciones educativas concretas Mejora de infraestructura y procedimientos resultados

36. FINAL ¿Puede transformarse en un sistema de aseguramiento de la calidad?, ¿un nuevo “contrato Estado – Udelar”? ¿La evaluación como patrimonio de las universidades, hasta donde es voluntaria? Es necesario un proceso sin castigo, y ¿sin incentivos ? ¿Como evitar procesos simplistas?¿Como lograr sinceramiento en los procesos? ¿Cómo trascender la mirada autorreferenciada de la academia? ¿Alcanza con el proceso para garantizar calidad, o es necesario avanzar en la medida de resultados y de efectividad en los objetivos? ¿Qué definimos por participación? ¿Cómo lograr un equipo técnico y recursos humanos en los servicios? ¿Cómo desarrollar bancos de datos e instrumentos de manejo de la información adecuados y de uso flexible?

37. final F I N A L