Labor Intermediation and Training Programs of the STPS/M éxico

1. Labor Intermediation and Training Programs of the STPS/México Maximo Torero (IFPRI/ GRADE) y Miguel Robles (UCLA)

2. Temas a analizar • Programas y documentos analizados • Objetivos y descripción de los programas • Evaluaciones de impacto • Evaluaciones de impacto teoría • De la Teoría a la práctica el caso de los programas analizados • Aspectos positivos • Aspectos por mejorar • Recomendaciones finales

3. Programas y documentos analizados

4. Programas y documentos analizados

5. Objetivos y Descripción de los Programas

6. Objetivos y Descripción de Programas

7. Objetivos y Descripción de Programas

8. Objetivos y Descripción de Programas

9. Evaluaciones de Impacto

10. Evaluaciones de Impacto • La evaluación de impacto típica incluye: • Evaluación Operativa • Efectos “Tratamiento” • Análisis Económico Costo-Beneficio • Problemas potenciales en cómo estimar los efectos “tratamiento” • Establecidos los efectos “tratamiento” no hay mayor controversia en cómo realizar el análisis costo-beneficio

11. Efectos “tratamiento” • Revisión de metodologías empleadas para determinar estos efectos: • Línea de Base (Inexistente en todos los casos) • Determinación Grupo Beneficiarios • Determinación Grupo Control • “Matching” de “support” en X • “Outcome” analizados • Análisis estadístico/econométrico • Efectos (en tratados) econtrados

12. Evaluaciones de Impacto

13. Evaluaciones de Impacto

14. Evaluaciones de Impacto

15. Evaluación de Impacto (Treatment Effects) TEORIA

16. Treatment Effects: teoría • Objetivo general • Comparar la situación de los miembros de una población “con” el programa versus su situación “sin” el programa • No nos interesa “per se” la situación “antes” y “después” del programa • ¿Qué población? • Típicamente nos enfocamos en los beneficiarios del programa • ¿Qué es la “situación”? • Definir la o las variables que miden los logros esperados del programa: • Ingreso por hora • Horas trabajadas • Duración del desempleo • Productividad laboral, etc.

17. Treatment Effects: teoría • Formalmente… • Efecto tratamiento para el participante i… • Esta es una variable aleatoria… en principio nos interesa el primer momento o valor esperado… • El potencial dolor de cabeza….missing data !!! • ¿Cuál es el “outcome” esperado del participante i de no haber recibido “tratamiento”? Imposible observarlo… pero no necesariamente imposible estimarlo…

18. Treatment Effects: teoría • Se hace necesario contar con un grupo de control que no recibe el “tratamiento” del cual poder inferir “missing data” • Queremos minimizar potencial “SESGO de selección”… • Lo que podemos estimar es… • Lo que queremos estimar es • El sesgo potencial es

19. Treatment Effects: teoría • Métodos para identificar “treatment effects” • 1) Métodos experimentales • “Randomization”: la gran ventaja es que para el grupo de control: • 2) Métodos Cuasi - Experimentales: • “Matching”: Buscar un grupo de control con características tales que • Hubieran participado en el programa • Determinan el “outcome” de manera similar a los participantes • Permite corregir “selección” en variables observables

20. Treatment Effects: teoría • “Reflexive Comparison” (Antes y después) • El grupo de control se forma con “línea de base” de los participantes • Doble Diferencias ( “Difference in Difference”) • Se tiene información antes y después para el grupo de participantes y para el grupo de control • Se compara al grupo de participantes y de control (primera diferencia), antes y después del programa (segunda diferencia) • Permite corregir el componente invariante en el tiempo del sesgo de selección en no observables • Método de variables instrumentales • Se requiere de una variable (instrumento) que este correlacionada con la decisión de participar pero que no influya en el “outcome” • Potencialmente permite corregir sesgo en observables y no observables

21. La experiencia internacional y la teoría nos dicen… • Combinar “Matching” con Doble Diferencias… • ¿Qué se necesita? • Grupo de control • Por lo menos asegurar que cumplan los requisitos del programa • Idealmente usar mismos cuestionarios y encuestadores para recoger esta información • Grupo de beneficiarios • Muestra representativa

22. La experiencia internacional y la teoría nos dicen… • ¿Qué se necesita? • Información antes y después del programa para ambos grupos • Características que determinan la participación • Características que determinan el “outcome” • EL IDEAL: tener historias completas del antes y del después… • Hacer el “matching” en características y asegurar “common support” • Se recomienda usar “propensity scores” para el “matching” usando la información antes del programa

23. De la teoría a la práctica El caso de los programas analizados

24. Las evaluaciones estudiadas nos dicen que…(aspectos positivos) • Existe conciencia de que lo importante es comparar el “con” y el “sin” programa… • Los evaluadores son ahora agentes externos (no queremos casos de juez y parte)… • En PROBECAT 1995 y CIMO 1995 las evaluaciones fueron hechas por la propia STPS • En todas las otras evaluaciones (2002 y 2003) se contratan agentes externos

25. Las evaluaciones estudiadas nos dicen que…(aspectos positivos) • Dada la información disponible los evaluadores externos apuntan a atenuar los sesgos de selección… • En 5 casos se utilizan métodos de variables instrumentales (Heckprob, Treatreg) • En 2 casos se intenta “matching” • En algunos casos se utiliza mismo cuestionario para recolectar información de beneficiarios y controles… CIMO y PIPs • Evaluaciones operativas y análisis costo-beneficio conceptualmente bien diseñados

26. Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) • La evaluación de impacto no forma parte del diseño de los programas… • En ningún caso se cuenta con línea de base • Los grupos de control se buscan ex-post • En los casos de contar con información del “antes” corresponde a información retrospectiva (introduce sesgo) • A veces es necesario precisar mejor el “outcome” a estudiar… • Casos en que se estudia el Ingreso Mensual… se recomineda separar el Ingreso x Hora y el Número de Horas

27. Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) • Separar “efecto empleo” del “efecto ingreso” • Si la variable dependiente es “Cambio en log Ingreso”… habran muchas observaciones con valores extremos… que pasan de cero ingresos (desempleado) a ingreso positivo… (Ejemplo: esto sucede en PROBECAT) • CIMO lo hace correctamente… • ¿Cuál es el “outcome” relevante para un programa como el SAEMLE (movilidad externa)? • Recordar que el programa ayuda a trabajadores que por primera vez salen a Canadá de zonas alejadas… • Pero es claro que alguien se perjudica… porque el número de vacantes es fija…

28. Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) • Hay que ser cuidadosos con el “matching” en variables observables… • Ejemplo, CIMO sólo verifica “common support” en tres variables: sector(manufactura vs. otro), tamaño, ubicación… • PERO… sin duda otras variables pueden explicar la participación en el programa y sobre la productividad laboral… ejemplo: antiguedad de la empresa, rama… • SAEBE hace “matching” para “estar desempleado” y “lugar de residencia”… Y además usa regresión con variable instrumental… (esto va en la dirección correcta…)

29. Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) • Controlar por el mayor número de variables observables relevantes • Ej. PIPs… regresión para explicar ingreso neto del entrepreneur… pero no controla por tamaño de empresa !!! • Procurar información del “antes”… ejemplo cuando ésta no existe… • En SICAT… se usa la ENE 2002 para armar grupo control bajo el siguiente criterio: • Haber conseguido empleo recientemente… • Estar actualmente desempleado  PROBLEMA: incluye a gente que estuvo empleada “antes”… no hubiera sido elegible para el programa !!!

30. Las evaluaciones estudiadas nos dicen que…(aspectos por mejorar) • Hay que ser consistentes con la metodología de evaluación… • En PROBECAT se utiliza un Probit para hacer “matching” entre grupos de beneficiarios y de control… supone querer controlar por observables en participación… • PERO luego se usa variables instrumentales… para instrumentar participación !!!... NO sería necesario… • Hacer uso correcto de la econometría • Por ejemplo correr… • Ingreso Bruto contra Ingreso por Hora, Número de Horas, y Gratificación… NO INFORMA NADA • Período trabajado contra período planeado, dummy para regreso prematuro, mes de salida… NO INFORMA NADA • Usar OLS cuando la variable dependiente es “mes de salida” (incorrecto !!!)

31. Recomendaciones Finales

32. Algunas recomendaciones • La evaluación de impacto debe formar parte del diseño de los programa • Importante identificar como incorporarla en los programas que ya existen • Una adecuada inversión en el diseño de nuevos programas • Desde el inicio del programa es necesario precisar el “outcome” a estudiar y el grupo control • La metodología de impacto a utilizar debe ser homogénea • Sería ideal contar con un laboratorio de evaluación, con autonomía y evaluación externa.

33. Sistemas de información y diseminación Indicadores intermedios Indicadores de Output Línea de Base Encuestafinal Implementación de proyecto Project Implementation Replicabilidad Inicio de Proyecto Fin de cada fase y del proyecto Acciones correctivas Stakeholders Flujo de información Importancia de un sistema de evaluación de impacto

34. Fuente: Nopo, Hugo, Miguel Robles y Jaime Saavedra (2002)