Camilo Carrillo Agosto, 2012

1. Camilo Carrillo Agosto, 2012 IV Curso de Didáctica e Investigación para Profesores Universitarios de Economía

2. INDICE • La evaluación de Impacto. Definiciones. • El Marco conceptual previo a la Evaluación de Impacto. • Como identificar indicadores de impacto. • La evaluación de Impacto. • Diseños de la Evaluación de Impacto • Diseño Experimental • Diseños Cuasi-Experimentales • Conclusiones. • Caso Projoven.

3. OBJETIVOS • Comprender, valorar y aplicar los conceptos fundamentales asociados a la evaluación de impacto. • Crear un marco de referencia (lenguaje común) en los participantes, para el uso e interpretación de los enfoques, métodos y técnicas de evaluación de impacto.

4. 1. ¿Qué es una evaluación de Impacto? • Una evaluación de impacto contesta esta pregunta: • Cómo cambiaron las vidas de los beneficiaros de mi programa, relativo a como hubiera estado sin mi programa? • Genera un juicio de valor. (¿ 20%, 15% ?) • Es el uso de procedimientos científicos para investigar sistemáticamente la efectividad de programas de intervención (Rossi et al, Bertrand). • Es una herramienta que debe verse como parte integrante de la política social y la gerencia pública. (Rossi y Freeman, 1985). • Que evaluamos? • Programas (eficiencia, efectividad) • Personas (aprendizajes, desempeño) • Instituciones

5. 1. ¿Qué es una evaluación de Impacto? ¿Por Qué Evaluamos Programas? • Para corregir y mejorarsuimplementación. • Para rendir cuentas (“accountability”). • Para tomardecisionesacerca de continuar o terminar con el Programa o Proyecto. • Pormandato o porrazonespolíticas. • Para generarconocimiento. • ¿Otrasrazones?

6. 2. El Marco conceptual previo a la Evaluación de Impacto. Es importante distinguir entre... 1. Evaluación Ex Ante • Estudios de preinversión. (Perfil-Factibilidad)-SNIP 2. Evaluación operativa: • Monitoreo (seguimiento): relacionado con los Componentes del Marco Lógico de un PIP/Programa. 3. Evaluación Ex Post • Evaluación de Impacto: relacionado con el Propósito (Evaluación de resultado) y el Fin (Evaluación de impacto) del Proyecto y detallado en el ML.

7. 2. El Marco conceptual previo a la Evaluación de Impacto. El marco conceptual o “de investigacion” es un diagramaqueidentifica e ilustralasrelaciones entre factoressistémicos, organizacionales, individuales y otroselementosrelevantesquepuedeninfluenciar la operación de un Programa o Proyecto y el logroexitoso de susmetas y objetivos

8. 2. El Marco conceptual previo a la Evaluación de Impacto. EJEMPLO: Marco conceptual (resumido) para un programa de salud

9. 2. El Marco conceptual previo a la Evaluación de Impacto. EJEMPLO: Marco conceptual para un PIP de Salud

10. 2. El Marco conceptual previo a la Evaluación de Impacto. EJEMPLO: PIP de Educación

11. 3.  ¿Cómo identificar indicadores de Impacto?

12. 3.  ¿Cómo identificar indicadores de Impacto?

13. Considerando el Marco Conceptual, la evaluación de impactoconsiste de... 4. La evaluación de Impacto • Un conjunto de actividades de investigacióntendientes a establecersi el comportamientoobservado en las variables de interés (variables de impacto) puedeseratribuido al Programa/Proyecto • La meta esestablecerevidencias de unarelacióncausal entre los resultadosobservados y lasactividades del Programa/Proyecto

14. EJEMPLO 4. La evaluación de Impacto Con el programa Porcentaje de ingresos de la población } IMPACTO Sin el programa Intervención Tiempo

15. 4. La evaluación de Impacto Así, el Impacto Puede ser también definido como… • La diferencia entre los resultadosobtenidos con el programa y los resultadosque se habríaobtenidosi el programanunca se hubieraimplementado. • Concepto esencial : el contrafactual: Resultadosque se habríanobtenidosi el programano hubierasidoimplementado.

16. 4. La evaluación de Impacto • Cuando no se tiene un Contrafactual, es imposible determinar el impacto de una intervención: • Se cae en el error de Subestimar o Sobreestimar el impacto de la intervención • No se puede determinar si es la intervención, algo endógeno, o algo exógeno. • Ejemplo: Un análisis antes-después de cualquier PIP/Programa.

17. EJEMPLOS 4. La evaluación de Impacto

18. EJEMPLOS 4. La evaluación de Impacto • En realidadnuncasabremos de segurocuálhubierasido el valor del contrafactual, peropodemostratar de estimarlo de diferentesformas. • Los diversosdiseños y técnicasanalíticas en Evaluación de Impacto se puedendistinguirpor la forma en que “estiman” o “simulan” el contrafactual

19. 5. Diseños de la Evaluación de Impacto. • Conocer exactamente cuál fue el impacto de un programa social es difícil ¿Qué efecto tuvo (si es que hubo alguno)?: • ¿Cuál hubiera sido el resultado si los beneficiarios del programa no hubieran participado en él? • ¿Cuál hubiera sido el resultado si quiénes no participaron en el programa hubieran sido beneficiarios de él?. • Para aproximarnos al impacto de un programa social se debe construir un escenario “contrafactual”: • ¿Cuál sería el resultado en los beneficiarios sin el programa?

20. 5. Diseños de la Evaluación de Impacto. • El problema es que no es posible observar al mismo individuo (o familia) como beneficiario y no beneficiario al mismo tiempo • Hay que crear un escenario “contrafactual”: Implica un grupo adecuado de comparación a los beneficiarios del programa: • Grupo contrafactual: aquel cuyos individuos son similares a quiénes recibieron el programa, excepto que “simplemente” no recibieron el programa.

21. 5. Diseños de la Evaluación de Impacto. • Clasificación de metodologías de Evaluación de Impacto

22. 5. Diseños de la Evaluación de Impacto. • Validez Interna y Externa • Validez Interna: Tiene que ver con cuan bien nuestro diseño de evaluación establece causalidad. • Mientras mejor definamos un Contrafactual, mejor podremos decir que la intervención genera el impacto observado. • Tiene que ver con el Sesgo de Selección (que el contrafactual sea similar al grupo de beneficiarios) • Validez Externa: Tiene que ver con cuan generalizables son los resultados, cuán relevantes para muchos / otros contextos. • Normalmente los resultados que uno observa dependen de realidades particulares (cultura, contexto económico, instituciones, agentes, etc.) • Va a depender del tamaño de muestra (y de la población) y del método de selección de la muestra (cuán representativa es la muestra)

23. 5. Diseños de la Evaluación de Impacto. • A) Evaluación Experimental: • La metodología de estudio de control aleatorio es el método más riguroso para medir el impacto de un producto. • La muestra de estudio se divide aleatoriamente entre dos grupos principales: uno que recibe los beneficios del programa (grupo de tratamiento) y otro que no los recibe (grupo de control). • Como es imposible saber qué hubiera pasado si los beneficiarios no hubieran recibido el programa, se hace una comparación entre el grupo beneficiario y otro grupo que tenga características similares pero que no ha recibido el programa.

24. 5. Diseños de la Evaluación de Impacto. • Evaluación Experimental:

25. 5. Diseños de la Evaluación de Impacto. • Evaluación Experimental:

26. 5. Diseños de la Evaluación de Impacto. • Para evitar sesgos de selección es necesario hacer una muestra aleatoria, es decir, todos los miembros de la población tienen la misma probabilidad de ser elegidos

27. 5. Diseños de la Evaluación de Impacto. Resultado del uso de métodos experimentales: • Se elimina el Sesgo de Selección • Fácil de convencer a los creadores de política -pruebas científicas de impacto con resultados no sesgados. • La evaluación es más barata que invertir recursos en programas que no son ni eficientes ni beneficiosos • Fundamental para pensar cuál es el siguiente paso

28. 5. Diseños de la Evaluación de Impacto. Ejemplos de Eval. de Impacto Experimentales: • Oportunidades(Mex): experimental con 506 comunidades elegibles. • Fueron distribuidas aleatoriamente en 320 y 186 comunidades de tratamiento y control, respectivamente • Resultados: Schultz(2004): encontró un aumento promedio en la matrícula del 3,4% para todos los estudiantes, con el mayor incremento entre las niñas que habían completado el 6 º grado, de 14,8%. • La razón más probable : que las niñas tienden a abandonar la escuela a tasas mayores una vez que se hacen mayores. los grados primarios. • Estos impactos a corto plazo se extrapolaron para predecir el impacto de Progresa a más largo plazo.

29. 5. Diseños de la Evaluación de Impacto. B) Evaluación Cuasi-Experimental: • Son metodologías en las que la intervención no es asignada de manera aleatoria (hay un criterio de elección). • Buscan generar el contrafactual usando distintos acercamientos • Ejemplos: Matching/PSM, Diff-in-Diff, RegressionDiscontinuityDesign (RDD)

30. 5. Diseños de la Evaluación de Impacto. • Matching/ Propensity Score Matching • Se busca “emparejar” a los beneficiarios con los no beneficiarios usando ciertas variables • PSM utiliza el “propensity score” que es la probabilidad de ser asignado a un grupo de tratamiento o control, dado un conjunto de variables. • Normalmente se utiliza una Regresión tipo Probit: • P(y=1) = F(a1Hijo+a2Curso+a3Lab+a4IngFam+a5Padr+a6Madr)+Error

31. 5. Diseños de la Evaluación de Impacto. • Matching/ Propensity Score Matching

32. 5. Diseños de la Evaluación de Impacto. • Difference-in-Difference(DID, DD) • Se toma un grupo de tratamiento y de control y se compara como evolucionan en el tiempo • Se asume que en los 2 grupos está sucediendo casi lo mismo

33. 5. Diseños de la Evaluación de Impacto. • Difference-in-Difference(DID, DD)

34. 5. Diseños de la Evaluación de Impacto. • Difference-in-Difference(DID, DD) • Ejemplo: Privatización de Agua en Argentina y su efecto en mortalidad infantil (Galiani, Gertler, and Schargrodsky (2005). • A partir de 1995, la mortalidad disminuyó más rápidamente en los municipios que habían privatizado sus servicios de agua. • Se encontró evidencia que la privatización del agua se correlaciona con la reducción de las muertes por enfermedades infecciosas y parasitarias. • La mortalidad infantil se redujo un 8 por ciento en las zonas que habían privatizado y que el efecto fue mayor en las zonas más pobres (hasta 26%%).

35. 5. Diseños de la Evaluación de Impacto. • Regression Discontinuity Design • Se comparan los grupos en el margen, justo en el borde donde hay un filtro arbitrario • Ha tomado mucha popularidad últimamente. • Si está bien diseñado es muy riguroso. • Solo permite responder preguntas sobre las unidades en el margen. • Ejemplo: Ejemplo de Microcrédito

36. 5. Diseños de la Evaluación de Impacto. • Regression Discontinuity Design

37. 5. Diseños de la Evaluación de Impacto. • Regression Discontinuity Design

38. 5. Diseños de la Evaluación de Impacto. • Regression Discontinuity Design • Ejemplo: Redes de protección social en Jamaica. Levy and Ohls(2007). • El programa proporciona salud y subsidios a la educación a los niños elegibles (condicionado a la asistencia a la escuela y postas) • Elegibilidad para el programa fue determinada por una fórmula de puntuación (nivel de pobreza). Fueron capaces de comparar los hogares justo por debajo del umbral de elegibilidad. • Resultados: El Programa genera mayor asistencia a la escuela para niños de 6 a 17 años en un promedio de 0,5 días al mes. Asimismo, las visitas de atención de salud aumentó aproximadamente 38%.

39. 6. Conclusiones. • Conclusiones de los diferentes métodos: • La evaluación experimental es el diseño de evaluación de impacto científicamente óptimo (Arcenauxet al. 2004). • Pero, por muchas razones, a veces no es posible implementar experimentos aleatorios y la evaluación de impacto se realiza a través de métodos cuasi-experimentales que son intensivos en datos y en técnicas microeconométricas.

40. 7. Caso Projoven.