Evaluación de Programas

1. Evaluación de Programas MAURICIO OLAVARRIA GAMBI, Ph.D. Instituto de Asuntos Públicos Universidad de Chile

2. Estructura de la Presentación • Introducción • Tipos de Evaluación • Ex – Antes • Intermedia • Ex – Post • Ejemplos de aplicación de métodos de evaluación

3. ¿Qué es la Evaluación de Programas? • Es la aplicación sistemática de procedimientos y métodos de investigación social para juzgar la utilidad de programas de intervención social (Rossi y Freeman 1993) • Involucra, por un lado, la comparación de un patrón de deseabilidad con la realidad y, por otro, la preocupación por alcanzar eficazmente los objetivos alcanzados (Cohen y Franco 2000)

4. Propósitos de la Evaluación • Estimar el aporte de las políticas y programas en ejecución • Ponderar la utilidad de las modificaciones propuestas • Juzgar la contribución de nuevas iniciativas • Incrementar la efectividad de la gerencia de políticas y programas • Establecer mecanismos de control y responsabilidad pública (accountability)

5. Evaluación de Programas • Tipos de preguntas que buscamos responder • ¿Se implementó el programa como se pensó? (monitoreo) • ¿Estamos llegando a la población objetivo? (monitoreo) • ¿Cómo es la distribución del beneficio? (monitoreo) • ¿Ha cambiado la realidad/problema? (impacto) • ¿Son mayores los beneficios? (Costo beneficio) • ¿Alternativas más eficientes? (Costo efectividad)

6. Efectos Políticos de la Evaluación • El Evaluador se ubica en el centro de una red en que diversos intereses se confrontan • Quienes promovieron, apoyaron, financiaron, impulsaron o decidieron la puesta en práctica del programa • Quienes reciben beneficios del programa • Quienes se opusieron • Quienes no satisficieron sus intereses • Los evaluadores interesados en los aspectos metodológicos de la evaluación

7. Tipos de Evaluación • Evaluación Ex – Ante • Evaluación de Diseño • Evaluación de Eficiencia • Evaluación Intermedia • Seguimiento y Monitoreo • Evaluación Ex – Post • Evaluación de Resultados • Evaluación de Impacto

8. Evaluación Ex - Ante • Evaluación de diseño: consistencia entre • Características del Problema que será abordado • Objetivos del programa • Actividades consideradas en el programa • Evaluación de eficiencia: relaciona costos incurridos y resultados alcanzados por el programa • Análisis Costo – Beneficio • Análisis Costo - Efectividad

9. Evaluación de Eficiencia • Análisis Costo – Beneficio: es una comparación de costos y beneficios expresados en términos monetarios • Análisis Costo – Efectividad: • Los resultados del análisis se expresan en términos sustantivos • … cuánto producto se alcanza por unidad de costo incurrido • Ambos métodos permiten jerarquizar racionalmente los programas según la relación entre sus costos y beneficios/efectividad

10. Análisis Costo Beneficio • Utilidad: • ¿Es la iniciativa beneficiosa? • Entre varias ¿cuál es la iniciativa que genera los mayores beneficios (excedentes)? • Consideraciones: • ¿Qué costos? • ¿Qué beneficios? • ¿Costos y beneficios para quién? • Dificultad de acceso a la información

11. Ejemplo: Costos del Delito. ¿Por qué? • ¿Son eficientes nuestras políticas de contención del crimen? • ¿Alternativas más eficientes? • ¿Sólo prevención? • ¿Qué tipo de contención? • ¿Combinación de intervenciones? • ¿Cuanto debemos invertir para contener o reducir el crimen?

12. Consideraciones y Métodos para identificar Costos del Delito y Beneficios de PSC • Unidad de medida: dinero • Valoración contingente • Precios hedónicos • Contabilización de pérdidas y gastos • Precios sombras • Costos de Oportunidad • Externalidades • Tasa de Descuento • Costos y gastos directos • Consideraciones éticas

13. Noción de Costos Económicos del Delito Pérdida de bienestar que sufren las víctimas y la sociedad – y que son susceptibles de ser valoradas económicamente –, las inversiones, gastos o acciones que deben realizar los ciudadanos para evitar ser víctimas de un delito y el gasto público orientado a prevenir el crimen, identificar, perseguir y hacer efectiva la responsabilidad de los delincuentes (Olavarría 2005)

14. Tipos de Delitos Analizados • Contra las personas: homicidio, lesiones, violación y delitos sexuales, lesiones, violencia intrafamiliar. • Contra la propiedad: robo y hurto. • Delitos económicos: estafa, cheques, tributarios y similares

15. Tipos de Costos • Costos sociales • Ingreso no percibido • Costo de oportunidad social de los delincuentes • Costo de bienes robados y hurtados • Costos médicos • Costos del Estado: • Agencias del Gobierno • Policías • Tribunales • Cárceles

16. Cuestiones Metodológicas • Algunos Delitos: • Homicidio • Lesiones • Violencia intrafamiliar • Robo, hurto • Delitos Económicos

17. Matriz de Costos del Delito

18. Cifra Negra del Delito Fuente: Elaboración propia con datos provenientes de la “Encuesta de Victimización y Percepción Región Metropolitana 2001” (n = 2.401 observaciones), División de Seguridad Ciudadana, Ministerio del Interior.

19. Monitoreo y Seguimiento • ¿Por qué la intervención (no) tuvo impacto? • Objetivos del Monitoreo: • Ajustar implementación con diseño • Evaluación sistemática de cobertura e implementación • Preguntas de Monitoreo: • ¿Llega el programa a la población objetivo? • ¿Es la implementación del programa consistente con el diseño? • ¿Cuánto cuesta la implementación?

20. Monitoreo y Seguimiento • Monitoreo sobre la Cobertura: • Población objetivo • Cobertura • sub-cobertura • sobre-cobertura • Sesgos

21. Monitoreo y Seguimiento • Monitoreo de la entrega de servicios • Inexistencia de programa o tratamiento incompleto • Tratamiento equivocado • Tratamiento no estandarizado

22. Evaluación Ex - Post • Evaluación de Resultados • Evaluación de Impacto • Programas de Cobertura Parcial • Diseño Experimental • Diseño Cuasi – Experimental • Programas de Cobertura Total • Controles Reflexivos • Controles Sombras

23. Evaluación Ex - Post • Evaluación de Resultados • Busca identificar la pertinencia y el grado de logro de los objetivos planteados originalmente al programa • Evaluación de Impacto • ¿Qué cambios ocurridos en la realidad pueden ser razonablemente identificados como una consecuencia del programa en análisis?

24. Evaluación de Impacto • Objetivo de la E.I. • ¿Cómo se hace una E.I.? • Se aplica a programas de cobertura parcial • Comparación • ¿Qué es el resultado bruto de la E.I.?

25. Modelo Experimental • Comparación entre dos grupos y antes / después • Uno recibe el tratamiento y el otro no • La asignación a los grupos se hace al azar • Si hay perfecta comparabilidad, la diferencia puede ser atribuida a la intervención • Idéntica composición • Idénticas experiencias • Idéntica predisposición

26. Modelo Experimental • Estimación del Impacto: la doble diferencia Impacto = (GTt1 – GTt0) – (GCt1 – GCt0)

27. Limitaciones del Modelo Experimental • Consideraciones éticas • Tiempo y costo • Problemas de validez interna • Falla en la aplicación del “tratamiento” (cumplimiento parcial) • Abandono o deterioro de la muestra (atrición) • Efectos del experimento (efecto Hawthorne) • Muestra pequeña • Problemas de validez externa • Muestra no representativa • Diferencias entre el experimento y tratamiento real

28. Diseño Cuasi-Experimental • Grupo de comparación no es determinado al azar • Grupo de comparación debe asemejarse lo más posible al grupo de tratamiento • Cuidado con el sesgo de selección

29. Diseño Cuasi-Experimental • Alternativas de construcción grupo de comparación: • Pareo • Individual • Grupal • Procedimientos Estadísticos • Controles Genéricos

30. Limitaciones del Cuasi – Experimento • Consideraciones éticas • Tiempo y costo • Problemas de validez interna • Problemas de comparabilidad en los grupos • Cumplimiento parcial • Abandono o deterioro de la muestra (atrición) • Sesgo de selección • Problemas de validez externa • Diferencias entre el grupo estudiado y otras poblaciones o diferencias en los contextos de esas poblaciones

31. E.I. Programas de Cobertura Total • Controles Reflexivos • Controles Sombras • Evaluación de Expertos • Juicios de Administradores de Programas • Juicio de Participantes

32. Diseño Cuasi-Experimental CASO: Pobreza, Crecimiento Económico y Políticas Sociales Análisis comparado de Chile, Uruguay, Costa Rica, Bolivia y Paraguay

33. Política Social en perspectivaa) Propósito de la evaluación • Comprobar si la reducción de la pobreza observada en Chile entre 1987 y 2003 se debe en un 80 o 90% al crecimiento económico • Establecer contextos para la asociación entre crecimiento económico y reducción de la pobreza y desarrollo social • Determinar si hay asociación entre largas tradiciones de política social y reducción de la pobreza y desarrollo social

34. Política Social en perspectivab) Diseño • Comparación de casos: • Caso central: Chile • Casos similares: Uruguay y Costa Rica • Casos diferentes (contrafactual): Bolivia y Paraguay • Comparaciones ex-post (con similar origen) y análisis de procesos económicos, políticos e intervenciones de política social • Unidad de análisis: país

35. Política Social en perspectivac) Tratamiento • Existencia (o no) de largas tradiciones de intervención de política social en contextos de: • Diferentes tendencias de crecimiento económico • Diferentes contextos político-institucionales

36. Política Social en perspectivad) Análisis • Asociación entre variables • Variables dependientes: • Variaciones en incidencia de la pobreza • Variaciones en desarrollo social • Variables independientes: • Tendencias en el crecimiento económico • Evolución político institucional • Tradiciones de intervenciones de política social

37. Política Social en perspectivae) Resultados del análisis • Asociación entre desarrollo social - baja pobreza y crecimiento en contextos de largas tradiciones de política social (Chile y CR) • Baja pobreza, alto desarrollo social y lento crecimiento de largo plazo (Uruguay) • Crecimiento no se traduce en mas dinámico desarrollo social y disminución de la pobreza cuando hay carencia de una larga tradición de políticas sociales (Bolivia y Paraguay)

38. Política Social en perspectivae) Implicancias del análisis • ¿Requiere el crecimiento económico de precondiciones para ser efectivo en la reducción de la pobreza? • El análisis sugiere que consistentes esfuerzos en educación, salud y protección permitirían la acumulación de capital humano necesario para aprovechar las oportunidades que da el crecimiento

39. Diseño Cuasi-Experimental CASO: Proyecto “Los vecinos nos cuidamos comunicándonos” Municipio de Nogales

40. Proyecto Municipio de Nogales • Objetivo • Disminuir delitos y sensación de temor de los vecinos de Villa El Esfuerzo • Localización • Territorio de Villa El Esfuerzo • Intervención • Instalación de sistema de alarma comunitaria • Actividades comunitarias de apoyo a la instalación del sistema de alarmas

41. Proyecto Municipio de Nogales: Alternativas de Evaluación • Control Reflexivo • Comparación antes – después • La población es comparada consigo misma • Control Genérico • La evolución de los indicadores de la Villa son comparados con la evolución de los indicadores del Municipio, Provincia o País • Diseño cuasi – experimental ex – post • Debe identificarse una “Villa comparable” que no haya implementado el sistema de alarma comunitaria • ¿Cómo era la situación antes de la alarma? • ¿Periodo de implementación?

42. Ideas Centrales • La evaluación de programas • Es la aplicación de métodos de investigación en ciencias sociales al análisis de una intervención y/o problema público • Requiere: • Rigor • Atender a cuestiones prácticas • El evaluador está en el centro de una red de intereses