Métodos de evaluación de programas públicos

1. Métodos de evaluación de programas públicos Ricardo Martner Área de Políticas Presupuestarias y Gestión Pública ILPES, CEPAL, Naciones Unidas

2. Los indicadores de desempeño en Chile Fuente: Dipres, Chile

3. Los indicadores de desempeño en Chile

4. La composición del gasto en Chile (% del PIB)

5. Los indicadores de desempeño en Chile (2004) Fuente: Dipres, Chile

6. Los indicadores de desempeño en Chile

7. Evaluaciones 1997-2005

8. Evaluación de impacto Los resultados finales o impactos se refieren a los beneficios “netos” de un programa en el tiempo. Para identificar el impacto sobre su población beneficiaria, se deben identificar las relaciones de causa-efecto entre los componentes que produce el programa y los resultados esperados (a nivel de producto, intermedio y finales). Para cuantificar el impacto del programa no basta con la comparación de la situación de los beneficiarios “antes versus después” del programa, sino que se debe responder a la pregunta: ¿Cuál sería la situación actual de estos beneficiarios si no hubieran participado en el programa? Esto es lo que se denomina situación contrafactual o escenario contrafactual. En términos metodológicos, lo anterior implica comparar los resultados del programa en los beneficiarios con respecto a un grupo de no beneficiarios de características similares, grupo de control, de modo de aislar los efectos de otros factores. Un grupo de control es básicamente un segmento de no beneficiarios que son parte de la población objetivo, es decir, un grupo que comparte las características sociales, económicas, educacionales del grupo beneficiario. La única diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participación en el programa.

9. Evaluación de impacto La construcción del escenario contrafactual puede ser abordada mediante metodologías alternativas, las cuales pueden agruparse en dos grandes categorías, diseño experimental (aleatorio) o diseño cuasi - experimental (no aleatorio): 1. El diseño experimental o aleatorio es la metodología de evaluación técnicamente más robusta. Consiste en la selección aleatoria de los beneficiarios dentro de un grupo de individuos elegibles creando dos grupos estadísticamente idénticos entre sí, uno que participa en el programa (grupo de tratamiento) y otro que, cumpliendo todas las condiciones para participar, esta fuera de él (grupo de control). La cuantificación o estimación del impacto del programa se realiza mediante una simple diferencia de medias (para las variables de resultado relevantes) entre el grupo de control y el grupo de tratamiento. 2.El diseño cuasi-experimental es utilizado cuando no es posible generar los grupos de control y tratamiento a través de un diseño experimental, pues la intervención del programa ya tuvo lugar y se seleccionaron los beneficiarios del programa usando métodos no aleatorios, a través de la aplicación de criterios de elegibilidad y focalización que establecen diferencias entre éstos y los no -beneficiarios.

10. Programa piso firme Cohahuila El primer grupo de variables consideradas son aquellas que miden la incidencia del programa en su principal variable objetivo, es decir, la calidad de los pisos de la vivienda. El segundo grupo de variables de resultado consideradas son aquellas que reflejan el impacto del programa sobre la salud de la población. En particular, se espera que la aplicación de pisos de cemento tenga un impacto considerable sobre la salud de los niños que habitan las viviendas al reducir el contacto directo de los niños con la tierra y permitir un mayor nivel de saneamiento en el hogar.

11. Programa piso firme Cohahuila El programa Piso Firme fue implementado en el estado de Coahuila a partir del año 2000. El programa fue implementado en diferentes municipios dentro del estado, uno de los cuales es el municipio de Torreón. Este municipio tiene la particularidad de que se encuentra en la frontera del estado de Coahuila con el estado de Durango. El diseño experimental permite la construcción de un grupo de control válido. El programa Piso Firme no fue implementado en los municipios de Gómez Palacio y Lerdo del estado de Durango, que forman junto con Torreón una misma área metropolitana. Esto significa que, en principio, los hogares a uno y otro lado de la frontera presentan características observables y no observables similares.

12. Programa piso firme Cohahuila

13. Programa piso firme Cohahuila

14. Impacto de Programas de empleo Los programas operan cuando la tasa de desempleo supera el 10% (invierno). La población potencial es la población desempleada, en condición de pobreza. Los programas directos son empleos de mejoramiento urbano, a través de las municipalidades. Los programas indirectos subsidian la contratación (40% del salario mínimo por cuatro meses con capacitación) por parte de empresas privadas. El objetivo es mejorar la empleabilidad de los beneficiarios.

15. Programas de empleo La muestra de beneficiarios se obtuvo a partir de las bases proporcionadas por los programas para los años 2001-2003: a nivel agregado la tasa de respuesta alcanzó un 71.3%. El grupo de control es seleccionado utilizando un proceso de “matching” basado en la probabilidad de ser beneficiario de los programas de empleo. Las variables de control utilizadas fueron: edad (incluyendo varias potencias para capturar efectos no lineales); variables indicadoras de jefe de hogar, estado civil y sexo; interacciones entre estas variables; variables dummies regionales; variable dicotómica si realizó capacitación laboral; dummies para sector de actividad, tamaño de empresa, categoría ocupacional y oficios; salarios y horas trabajadas.

16. Caracterización de las muestras de beneficiarios y no beneficiarios

17. Programas de empleo La estimación del impacto se implementa a través de estimadores de Diferencias en Diferencias (comparación antes y después del programa para el promedio de beneficiarios y no beneficiarios en las distintas variables de interés). Se espera que los programas tengan un impacto positivo sobre la probabilidad de estar empleado el año de aplicación de los programas. En los programas indirectos también se espera que tengan impacto de mediano plazo, debido a que entre sus objetivos se encuentra mejorar la empleabilidad de sus beneficiarios. Respecto a la formalidad del empleo, se esperaría encontrar impacto sobre esta variable en el año de participación en el programa. En el mediano plazo sería razonable encontrar impacto entre los beneficiarios de capacitación, debido a que el programa busca que sigan empleados.

18. Impacto del Programa Bonificación de Mano de Obra, sobre la probabilidad de encontrarse empleado en Junio 2002 (Variable dependiente dicotómica: 1 si ocupado; 0 si no)

19. Programas de empleo El impacto en empleo de los programas directos, comparando la situación Junio de 2004 con Junio de 2000 indica que los beneficiarios que tomaron los programas los años 2001, 2002 o 2003 exhibieron aproximadamente 8,4 puntos porcentuales de probabilidad adicional de estar empleados en Junio de 2004. El impacto del programa indirecto de empleo constituido por la bonificación de mano de obra indica que los beneficiarios que tomaron este programa el año 2001 exhibieron aproximadamente 9 puntos porcentuales de probabilidad adicional de estar empleados en relación a lo que habría sido su situación de no haber existido el programa.

20. Programas de empleo El impacto de los programas de empleo sobre la formalidad del empleo (probabilidad de obtener un empleo en el que el beneficiario realiza cotizaciones previsionales o está contratado) en el año de aplicación del programa, muestran que los programa directos exhiben 12 puntos porcentuales de probabilidad adicional de estar empleados con el pago de las cotizaciones previsionales en relación a lo que habría sido su situación de no haber existido estos programas. El impacto del programa indirecto de empleo sobre la formalidad del empleo de los beneficiarios muestra aproximadamente 12 puntos porcentuales de probabilidad adicional. Las regresiones permiten también concluir que los ingresos fueron impactados positivamente por la participación en el programa.

21. Programas de empleo Con el objeto de tener un medición global del desempeño de los programas de empleo, se utilizan los costos promedio por empleo generado así como el impacto sobre la probabilidad de estar empleado, tanto en el corto como mediano plazo. Los programas directos presentan el peor desempeño en los indicadores de costo-efectividad. En consecuencia, si es que los programas analizados se evalúan sólo desde la perspectiva del empleo, debieran ser eliminados pues existen opciones menos costosas de producir un mismo o mayor impacto.

22. Programas de empleo

23. A modo de conclusión • En la variedad está el gusto • Pese a su complejidad, las metodologías de evaluación de impacto puede aportar elementos objetivos de evaluación • Para ello, sin embargo, es necesario no utilizar sus resultados con otros fines, pues resultan muy limitadas para justificar permanencia o abandono de programas públicos.