Sistema de Seguimiento y Evaluación

1. Sistema de Seguimiento y Evaluación “Aprender para Mejorar” Evidencias para mejorar el Desarrollo

2. Indice • Estrategia de Seguimiento y Evaluacion: Principios generales, razones, contexto • Elementos que la componen y pasos para implementarla y llevarla a cabo • Consejos para mejorar los Marcos de Seguimiento y Evaluacion de los Programas Conjuntos

3. Rationale: ¿ Porque es necesario hacer Seguimiento y Evaluación? • Es un requisito incluido en el acuerdo legal entre el Donante y el PNUD • Es una obligación asumida en la firma de cada uno de los programas conjuntos • Es necesario: Si se quiere cumplir con uno de los objetivos del fondo: Escalar los programas conjuntos y expandir las soluciones que funcionen en pro del progreso hacia alcanzar los ODM • Es útil: Como parte del ciclo de gestión del programa y es la mejor forma de medir el progreso y detectar problemas, corregirlos, y aprender y mejorar

4. Quienes son los usuarios potenciales del Sistema de S&ECuales son sus necesidades de información?

6. 5 Minutos de comentarios:¿Nos dejamos a alguién atrás?¿Estan reflejados las cuestiones mas importantes de los interesados ?

7. ¿Que tipo de principios deben inspirar el sistema de S&E? Principios

8. ¿En que tipo de principios se basa el sistema de S&E? • De acuerdo a los estándares de UNEG y CAD/OCDE • Orientado a un equilibrio entre el aprendizaje y la rendición de cuentas • Basado en evidencias: los datos, la información y el conocimiento son coherentes y contrastados y son la base para apoyar los juicios de valor y las conclusiones que se extraigan del S&E • Naturaleza y caracter participativo

9. ¿En que tipo de principios se basa el sistema de S&E? • Basado en el principio de agregación: Elementos de S&E (indicadores, informes + evaluaciones, etc) las unidades de análisis van sumando unas otras en orden ascendente • Objetivo principal de medir (DELTA), describir, analizar, comprender el objeto de estudio (PC) y usar los resultados para mejorar los programas y las políticas

10. ¿Que dimensiones de analísis se deben medir y estudiar ?¿Que preguntas debe responder el sistema de S&E?

11. En 5 minutos ¿ Cuales son las 3 preguntas mas candentes que deberia reponder el sistema de S&E?

12. 1er Nivel M&E Programas conjuntos 2o Nivel M&E Países 3er Nivel M&E Ventanas 4to Nivel M&E Fondo de implementación ODM • Aspectos de Monitoreo • Insumo-Productos-Resultados-Procesos • Dimensiones de Evaluación • Calidad de la formulación del programa • Objetivos alcanzados con el programa • Contribución a los ODMs y • otros indicadores de desarrollo, género • Replicación: Ampliación • Innovación • Coordinación del sistema de la ONU • Unidos en la Accion • Apropiación • Alineamiento • Armonización • GPRD • Rendición de cuentas mutua • Cambio Delta, efectos en la vida del • ciudadano • Aspectos de Monitoreo • -Resultados (UNDAF+PRS) • Procesos (Coordinación) • Dimensiones de Evaluación • Efectos inducidos en: • ODM a nivel del país • Otros indicadores de desarrollo • Coordinación del sistema de la ONU • Unidos en la Acción • Apropiación • Alineamiento • Armonización • GPRD • Rendición de cuentas mutua • Países piloto • Aspectos de Monitoreo • -Resultados como acumulación de los PC • RH/Género/Medioambiente • Dimensiones de Evaluación • Nuevos temas: Cultura & migración • Efectos inducidos en : • ODM a nivel del país • Otros indicadores de desarrollo • (Paz y Cultura) • Coordinación del sistema de la ONU • Unidos en la Acción • Apropiación • Alineamiento • Armonización • GPRD • Rendición de cuentas mutua • Aspectos de Monitoreo • -Resultados • Dimensiones de Evaluación • Calidad de la colaboración España/PNUD: • Valor agregado como mecanismo para • lograr el progreso de las ODMs • El papel del secretariado y valor agregado • Efectos inducidos en: • Vínculo de ventanas y ODMs • Otros indicadores de desarrollo • Coordinación del sistema de la ONU • Unidos en la accion • Apropiación • Alineamiento • Armonización • GPRD • Rendición de cuentas mutua • Efectos en la vida del ciudadano Programas conjuntos Países Cultura y desarrollo Igualdad de género Empoderamiento de la mujer Prevención de conflictos y construcción de la paz Programas conjuntos Infancia, Nutrición y Seguridad alimentaria Países Gobernabilidad económica democrática Juventud, empleo y migración Medioambiente y Cambio climático Programas conjuntos Países Desarrollo y el sector privado

13. Elementos que componen el sistema de SyE • Marcos de Seguimiento y evaluacion del PC: Incluyen indicadores para medir progresos a nivel de producto y resultados. Indicaodres generales de coordinacion y tematicos • Visitas de campo: para revisar los PC en profundidad, y preparar las evaluciones intermedias asi como diseminar lecciones aprendidas • Evaluaciones (intermedias, finales y de impacto): para revisar y juzgar el valor de las dimensiones de estudio en cada nivel (PC, Pais, Ventana, FODM ) • Meta analisis/evaluaciones: para buscar y agregar evidencias solidas sobre las ventanas tematicas que sean conducentes a vincular estas con los ODM • Otras fuentes: de datos informacion y conocimiento existentes (Sistema de Gestion del conocimiento, estudios de pais, etc)

14. Diferencias entre Seguimiento, Evaluación y Reporting • Para el propósito del F-ODM, elseguimiento se define como un proceso continuo de recogida y análisis de información, sobre todo en indicadores importantes (es decir, al nivel de actividad, producto y resultado) • La función de Información / informes/reporting, por el contrario, tiene el objetivo principal de cumplir con los requisitos de responsabilidad prescritos por el Memorando de Entendimiento del F-ODM firmado por el donante y el PNUD en nombre de las Agencias de las Naciones Unidas participantes • Por otra parte, la Evaluación es la valoración de una intervención de desarrollo, planificada, en curso o completada para determinar su relevancia, eficiencia, eficacia, impacto y sostenibilidad.

15. Caracteristicas de la Funcion de Seguimiento • Se orienta hacia los resultados, es decir, su principal objetivo es informar acerca del progreso de las fases superiores de la cadena causal lógica, sobre todo los cambios que se han producido a nivel de producto y resultado. • Es de naturaleza sustantiva, en lo que se refiere a la medición de cambios en los ciudadanos, las instituciones u otro tipo de participante en el programa. • Tiene intención agregativa. Es el primer elemento de una cadena causal en sistema de aplicación más amplia que incluye evaluaciones a mitad de período y evaluaciones finales. El conjunto del sistema está orientado a aprender y a saber qué funciona y qué no para mejorar los programas conjuntos.

16. Informes de Seguimiento • Informes de seguimiento cuyo principal objetivo consiste en ofrecer avances y tendencias sustantivas sobre diversas dimensiones del PC (resultados, productos, ejecucion financiera, etc) • Frecuencia; Dos veces al ano, sustituyen a al segundo y cuarto informes trimestrales • Responsabilidad del coordinador del programa conjunto, especialista en S&E, otros……

17. Indice del informe de Seguimiento • Pagina de identificacion • Marco de S&E del Programa Conjunto • Marco logico de resultados con informacion financiera (comprometido y desembolsado) • MDGF General Progress (indicadores y preguntas) • Coordinacion + One UN (2 indicadores) • Declaracion Paris ( 1 indicador) • indicadores Tematicos (3 por ventana) • Breves comentarios narrativos

18. Pasos a seguir en Seguimiento y Evaluación • Mejora y adaptación del marco de S y E: • Facilitar la participación en las actividades de S y E • Recolección de una línea de base • Preparación de las visitas de campo para supervisión • Adaptación de los términos de referencia generales a las evaluaciones a mitad de período • Facilitación del proceso de evaluación a mitad de período • Implementacion de la evaluacion de medio termino: fases • Integración de recomendaciones: Plan de Mejora • Preparación de los términos de referencia para las evaluaciones finales • Realización y coordinación de la diseminacion de las evaluaciones finales, incorporación general de las recomendaciones y ampliación de los programas

19. 1er Nivel M&E Programas Conjuntos 2o Nivel M&E Países 3er Nivel M&E Ventanas 4to Nivel M&E Fondo de Implementación ODM • Productos de monitoreo • 2 informes trimestrales (1 y 3 trimestre) • -2 Informes de seguimiento • 100% de los programas conjuntos son • visitados en campo • Productos de monitoreo • Informes de seguimiento • Productos de Monitoreo • 1 informe a medio plazo basado en • evidencias, enfocado en los F-ODM como • un todo. • 100% de los países recibieron visitas • M&E • Productos de monitoreo • 24 indicadores temáticos de ventana • Productos de evaluación • Evaluaciones rápidas de medio plazo • (proceso y resultados iníciales) • Evaluaciones finales • (diseño, proceso y resultados) • Al menos 3 evaluaciones de impacto • (se prefiere diseño experimental o cuasi • experimental) • Productos de evaluación • 9 Evaluaciones país (caso de estudio) • Productos de evaluación • 8 meta-análisis/meta-evaluaciones Productos de Evaluación - 1 informe final basado en la evidencia enfocado en la F-ODM como un todo tomado de datos primarios y secundarios Programas conjuntos Países Ventanas temáticas MGDS

20. Principales Resultados de S&E • Resultados M&E • -Cuerpo de evidencia cuantitativa y • cualitativa sobre el diseño del programa, • sus procesos, resultados e impactos. • -Recomendaciones para que los dirigentes • mejoren los programas • Información y criterios para el proceso de • toma de decisiones del Secretariado • Cuerpo de conocimiento sobre políticas y • programa para ampliar y transferir las • mejores prácticas y lecciones aprendidas • Resultados M&E • Cuerpo de evidencia cuantitativa y • cualitativa sobre el país, procesos y • efectos inducidos en los resultados e • impactos de las políticas, así como los • principios de la Declaración de París • Recomendaciones sobre políticas • para agencias gubernamentales • asociadas y toma de decisiones del • Secretariado • Abre un proceso de aprendizaje general • a nivel del país • Cuerpo de conocimiento sobre políticas y • programas para ampliar y transferir las • mejores prácticas y LL • Resultados M&E • Cuerpo consistente de evidencia • cuantitativa y cualitativa sobre temas y • sectores, y sus efectos inducidos sobre • los logros ODM • Robustas recomendaciones para • gobiernos asociados, donantes, agencias • de desarrollo, Secretariado, etc. • Cuerpo de conocimiento consistente • y robusto sobre políticas para ampliar, • transferencia de mejores prácticas, LL y • Resultados M&E • Cuerpo consistente de evidencia • cuantitativa y cualitativa sobre temas y • sectores, y sus efectos inducidos sobre los • logros ODM • Robustas recomendaciones para • gobiernos asociados, donantes, agencias • de desarrollo, Secretariado, etc. • Cuerpo de conocimiento consistente • y robusto sobre políticas para ampliar, • transferencia de mejores prácticas, LL y Programas conjuntos Países Ventanas Temáticas ODMS

21. Consejos para Mejorar los Marcos de Seguimiento y Evaluacion “Aprender para Mejorar” Evidencias para mejorar el Desarrollo

22. Consejo#1: Tener en cuenta las necesidades de informacion de los interesados a traves de la participacion • Etapa de diseno: Seleccionar las preguntas que el sistema de S&E debe cubrir • Etapa de implementacion: Los interesados contribuyen con sus comentarios e informaciones a contrastar las evaluaciones intermedias y finales • Plan de Mejora: Seguir la integracion de las mejoras y recomendaciones provinientes de las fases anteriores

23. Consejo #2: Concentrarse en medir el cambio. Los efectos en beneficiarios y su vinculacion con UNDAF y ODM • Refinar la teoria del cambio del PC y debatirla con los interesados y el equipo de gestion. Describirla y hacerla explicita. • Definir con claridad los beneficiarios y como los PC van a tener un efecto sobre ellos • Describir los vinculos de los PC y su contribucion al UNDAF y a los ODM en el contexto local.

24. Se incrementan los niveles de renta y las posilidades de la poblacion de mejorar su empleo Impactos Resultados Productos Actividades • Cursos de alfabetizacion se llevan a cabo Insumos • Instalaciones, materiales, profesores

25. Se incrementan los niveles de renta y las posilidades de la poblacion de mejorar su empleo Impactos Resultados • Los adultos saben leer y escribir. Encuentran empleo • Los adultos reciben las ensenanzas del curso de alfabetizacion Productos Actividades • Cursos de alfabetizacion se llevan a cabo Insumos • Instalaciones, materiales, profesores

26. Consejo# 3 Integridad de la unidad de analisis • El PC la unidadbasica de analisis, lo quesignificaque los quemedimoses un todo no divisible en estructurasmenores (grupos de actividades o productosllevados a cabopordiferentesactores) El propositoesmedir el cambioinducidopor el PC en simismo, en suconjunto.

27. Consejo #4 Indicadores • Numero de indicadores 3 o 4 indicadores por producto y resultado • Cuantitativos: Numeros absolutos, % • Cualitativos: perceptions, descriptions, etc • Que sean relevantes a los diversos usuarios del sistema de S&E • Usar proxies cuando no haya otras posibilidades

28. Consejo #5 Indicadores SMART • Especifico: que sea unamedida tan proxima com sea posible del producto o resultadoque se intentemedir (datosdesagregadossiesnecesario) • Medible: No ambiguedad en lo que se estamidiendo • Alcanzable: Sea tecnicamenteposibleobtener los datos a un costerazonable • Confiable: Acuerdogeneralizadosobre la interpretacion de los datosobtenidos • En tiempo: Que los datospuedan ser recogidos con la suficientefrecuenciacomoparapoderinformar del progreso e influir la toma de decisiones

29. Consejo #6 Lista de Chequeo para valorar potenciales indicadores • Es el indicador…: • Unamedida lo masdirectaposible del fenomenoque se quieremedir (producto/resultado) • Suficientementeprecisoparaasegurarunamedicionobjetiva • La forma maspractica y costo/efectivapararecogerdatos • Sensible a cambios en (producto/resultado) perorelativamente no afectadoporotroscambios • Posible de desagregarsifueranecesario

30. Consejo # 7 Linea de base • ¿ Cuales son lasfuentes de datos? • ¿ Cuales son los metodos de recogida de informacion? • ¿ Quienrecogera la informacion? • ¿ Con quefrecuencia se recogeran los datos? • ¿ Cuales el coste y lasdificultades de recoger los datos? • ¿ Quienanaliza los datos? • ¿ Quieninformara de los datos? • ¿ Quien y como se usaran los datos?

31. Consejo # 8 Identificando fuentes de datos ¿ Se puede acceder a la fuente con seguridad y con la frecuencia necesaria? ¿ La fuente puede proporcionar datos de calidad? • Primaria: recogida de datos por el personal de gestion del PC • Secudaria: recogida de datos recogidos por organizaciones ajenas al PC

32. Consejo # 9 Metodos de recoleccion de la informacion

33. Consejo # 10: Papeles y responsabilidades de los diversosactores en la implementacion del sistema de S&E • El equipo gestor de PC: Llevar a cabo el plan de S&E recogido en el documento de PC y facilitar las actividades del Secretariado. • El Coordinador Residente de la ONU: facilitar los aspectos más políticos de los ejercicios de S y E en el país. • El Secretariado: Asesora y ofrece apoyo a los equipos de gestion del PC al homogeneizar el seguimiento y la evaluación con productos, datos e informacion. Asegura la funcion de Gestion del Conocimiento. Coordina y financia las evaluaciones de medio termino.

34. III. Example of good outcome indicators

35. Examples

36. Examples