CLEAR-CIDE Seminario Internacional Cuarto Foro Global CLEAR México, 18 y 19 de noviembre de 2013

1. CLEAR-CIDESeminario Internacional Cuarto Foro Global CLEARMéxico, 18 y 19 de noviembre de 2013 Taller sobre evaluación cualitativa Dra. Myriam Cardozo Brum Universidad Autónoma Metropolitana

2. MÉTODO • Procedimientos de investigación basados en una postura epistemológica y un marco teórico. • Conjunto de principios, normas y operaciones que permiten seleccionar y coordinar ciertas técnicas para alcanzar sus objetivos.

3. MÉTODOS • Polémica cuanti-cualitativa. Posición de la exposición • Algunos autores que presentan esta posición: - Tarrés, María Luisa (2001), “Observar, escuchar y comprender. Sobre la tradición cualitativa de la investigación social”, México: COLMEX – FLACSO – M. A. Porrúa. - Cortés, Fernando y otros (2008), “Método científico y política social. A propósito de las evaluaciones cualitativas de programas sociales”, México: El Colegio de México. - Cardozo, Myriam (2012), “Evaluación y metaevaluación en las políticas y programas públicos. El estado del arte”, México: UAM-X. - Cardozo, Myriam (2012), “Sistematización de la experiencia de evaluación de Evalúa DF en 2008. Metaevaluación y autoanálisis”, México: UAM-X- Evalúa DF. - Puerta, Juan Manuel (2013), participación en el panel CLAD-AEVAL “Nuevos enfoques de evaluación de la acción pública Iberoamericana”, XVIII Congreso Internacional del CLAD, Montevideo, Uruguay.

4. ENFOQUES TEÓRICOS Y MÉTODOSÉnfasis positivista: CONEVAL Énfasis constructivista: EVALUA

5. MÉTODOS • Métodos cuantitativos. • Métodos cualitativos. • observación • encuestas • entrevistas • grupos focales • método DELPHI • benchmarking • análisis de textos

6. CRITERIOS CUALITATIVOS - Calidad - Satisfacción del usuario - Congruencia - Oportunidad - Pertinencia - etc.

7. UNIDADES DE ANÁLISIS • Objeto de la evaluación: • Organizaciones • Políticas • Programas • Familias • Ciudadanos • Beneficiarios • Evaluaciones

8. EVALUACIÓN EN EL PROCESO DE POLÍTICAS Y PROGRAMAS PÚBLICOS Gestación del Problema Público Ingreso a la Agenda Formulación de la Política Implementación Evaluación

9. TIPOS DE EVALUACIÓN EX-POST • De diseño o formulación • De procesos, operación o implementación • De resultados: logro de objetivos y metas • De impacto: el conjunto de cambios o efectos sobre el problema original provocados por la acción evaluada • Integral

10. EVALUACIÓN DEL DISEÑO Coherencia externa: • Pertinencia frente al problema social a enfrentar • Coherencia con la filosofía de la institución y sus otros planes y programas Coherencia interna: • Objetivos y metas bien definidos y jerarquizados • Estrategias y acciones congruentes con los anteriores • Previsión de los recursos necesarios para su implementación • Diseño de mecanismos de seguimiento y evaluación

11. EVALUACIÓN DE LA IMPLEMENTACIÓN • Dificultades para realizar lo formulado • Disponibilidad de recursos (cantidad, calidad, oportunidad) • Eficiencia de la transformación de recursos en productos, servicios o transferencias • Apego del funcionamiento a la normatividad • Organización, coordinación y relaciones interorganizacionales • Participación social • Sistema de información • Niveles de control y seguimiento • Grados de ajuste y desviación de lo planeado • Medidas de corrección adoptadas

12. EVALUACIÓN DE RESULTADOS E IMPACTOS • Outputs: productos, servicios o transferencias • Outcomes: impacto o conjunto de efectos provocados en el problema • Directos o indirectos • Previstos o imprevistos • Positivos o negativos • De corto, mediano y largo plazo

13. PROCESO DE EVALUACIÓN INTEGRAL DE UN PROGRAMA CONTEXTO INTERNACIONAL CONTEXTO NACIONAL: Condiciones económicas, políticas, sociales, otros programas, etc. DISEÑO DEL PROGRAMA (pertinencia, objetivos, estrategias)

14. REQUISITOS Y EJEMPLOS METODOS CUALITATIVOS DE EVALUACIÓN

15. OBSERVACIÓN • Definir que queremos y podemos observar • Elaborar una guía de observación • Tipos: - tradicional - participante - investigación-acción • Llevar actualizado el diario de observaciones

16. OBSERVACIÓN Ejemplo: línea basal de un programa socio-ambiental Condiciones ambientales • Limpieza del lugar • Rastros de incendios • Estado de conservación de especies • Información ambiental para turistas • Conducta ecológica del turismo • Actividades de restauración

17. OBSERVACIÓN Ejemplo: línea basal de un programa socio-ambiental Condiciones socio-económicas • Estado de conservación de las calles y viviendas (paredes, pisos, techos) • Calidad y limpieza del vestido de los habitantes, • Comercios en la zona • Servicios: escuelas, hospitales, centros de salud • Existencia y estado de la plaza principal • Edificios de gobierno: oficina, muebles y equipos • Iglesias • Disposición de alumbrado, drenaje, telefonía, agua potable, gas

18. ENCUESTA: UNIVERSO DE ESTUDIO • Conjunto de personas, familias u organizaciones que comparten un atributo. Ejemplo: ser receptores de los servicios, transferencias o bienes de un programa.

19. ENCUESTA: DISEÑO MUESTRAL • Muestra: subconjunto de la población o universo. • Condiciones: - Permitir la prueba de la hipótesis. - Representatividad resultados obtenidos generalizables al universo.

20. DISEÑO MUESTRAL • Selección de la muestra: 1. Definición del marco muestral o universo. 2. Determinación del tamaño muestral. 3. Elección de las unidades que integran la muestra: - probabilística o aleatoria - no probabilística

21. CONFECCIÓN DE LOS INTRUMENTOS DE RECOLECCIÓN DE LA INFORMACIÓN Cuestionarios, guías de observación, de entrevista Confección de instrumentos provisorios de recolección de información Prueba piloto Confección de instrumentos definitivos para la recolección de la información

22. APLICACIÓN Y PROCESAMIENTO DE LOS INTRUMENTOS DE RECOLECCIÓN DE INFORMACIÓN • Selección y capacitación de encuestadores • Organización y logística del trabajo de campo • Control de calidad de la información recogida: • Cuestionarios completos • Datos dentro de intervalos aceptables • Codificación de respuestas • Aplicación de un paquete estadístico: Excel, SPSS.

23. PLAN DE ANÁLISIS • Síntesis de la información recogida por indicadores. • Apreciación de la naturaleza de los indicadores y las escalas de medición (nominal, ordinal, intervalar, de razón) • Seleccionar las herramientas estadísticas apropiadas en caso que se deseen aplicar. • Análisis de la distribución y de la relación existente entre variables.

24. TÉCNICAS ESTADÍSTICAS • Se aplican a los atributos de las unidades de análisis (variables o indicadores). • Dependen del nivel de medición: - nominal - ordinal - intervalar - de razón

25. TÉCNICAS ESTADÍSTICAS Nivel de TécnicaEjemplos MediciónEstadística Nominal No paramétricas Frecuencia Moda Ordinal No paramétricas Mediana Corr. Spearman Intervalo Paramétrica y no Media paramétricas Desviación st. Razón Paramétrica y no Media Geométr. paramétricas Coef. de Variac.

26. ENCUESTAEJEMPLO DE PREGUNTAS PARA CONOCER PERCEPCIONES SOBRE FUNCIONAMIENTO Y SATISFACCIÓN • ¿Considera que el programa funciona bien o mal y por qué? • ¿Cuáles cree que sean los principales problemas del programa? • ¿Se considera satisfecho con los beneficios del programa?, ¿por qué? • ¿Considera que el programa beneficia a las personas más pobres? • ¿Qué recomendaría para mejorar el programa?

27. ENTREVISTAS • Identificar a los informantes-clave • Preparar un guión adecuado a cada caso • Introducción para exponer el objetivo, la difusión planeada y lograr confianza • Autorización para grabar • Arte de preguntar: - seleccionar preguntas - insistir sobre lo evitado - aclarar lo dudoso - solicitar documentos de apoyo

28. ENTREVISTASEJEMPLO DE TEMAS A TRATAR EN UNA EVALUACIÓN DE OPERACIÓN • Presupuesto anual autorizado y ejercido. • Porcentaje de beneficiarios que presentan carencias extremas. • Cobertura de beneficiarios alcanzada. • Número de servicios y apoyos brindados en el período evaluado. • Nivel de cumplimiento de los objetivos y metas anuales. • Cumplimiento de la transparencia en la selección de proyectos y beneficiarios.

29. GRUPOS FOCALES (focus groups) • Discusión y valoración del programa en entrevistas colectivas con pequeños grupos (6-12 personas) • Con un moderador que plantea las preguntas de acuerdo a un guión preestablecido • Duración aproximada: dos horas • Discusiones grabadas para posterior análisis • Grupos homogéneos o heterogéneos

30. GRUPOS FOCALESEjemplo: Evaluación de la operación de los servicios de salud materno-infantil • Una sesión con cada grupo: médicos, enfermeras y personal auxiliar • Temas: • Disponibilidad de recursos • Cantidad y calidad de las instalaciones y equipos • Porcentaje de ocupación • Existencia de medicamentos • Condiciones de trabajo • Tiempo de espera

31. MÉTODO DELPHI • Selección de un panel de expertos • Preparación de un cuestionario • Consulta por correo manteniendo anonimato o modificada (presencial), pero sin interacción de los participantes • Búsqueda de consensos • Diversas rondas de entregas de resultados estadísticos y comentarios para nuevas consultas

32. MÉTODO DELPHIEjemplo de evaluación del manejo del cambio climático • Acuerdo o desacuerdo sobre la existencia del cambio climático • Opinión sobre determinantes alternativos del cambio climático • Opinión sobre la posibilidad y plazos para controlarlo • Propuestas de buenas prácticas • Selección de estrategias alternativas • Valoración de las capacidades de gestión del gobierno

33. BENCHMARKING • Identificar a la organización líder en el contexto público • Recoger información de la misma • Identificar causas de las diferencia de resultados • Promover la emulación de las mejores prácticas • Ejemplos cercanos: - Evaluación comparativa de la gestión social de las delegaciones del DF - Desempeño diferencial de programas de salud por entidades federativas.

34. ANÁLISIS DE TEXTOS • Método hermenéutico de análisis estructural, comprensión e interpretación de textos • Estudia el contenido de los mismos (hermenéutica interna) y el entorno en que se producen (hermenéutica externa) • Busca “leer entre líneas” incluso lo que no está escrito expresamente en programas, informes, etc. • Permite contar la repetición de palabras, relevar patrones o temas recurrentes, agrupar y separar variables, relevar relaciones entre variables, etc. • Utiliza programas de cómputo como Atlas y Nud*ist

35. ANÁLISIS DE TEXTOSEjemplo: Metaevaluación de evaluaciones de programas ambientales • Base teórica: releva paradigmas implícitos de la política social y de la justificación del programa. • Naturaleza de la evaluación: muestra el sesgo de los términos de referencia para evaluar puntos específicos del programa. • Instrumentos de evaluación: evidencian el énfasis de las variables cuantificadas para medir resultados.

36. MEDICIÓN DE IMPACTO:MODELO EXPERIMENTAL Y CUASIEXPERIMENTAL Ejemplo Valores inicialesValores finales Grupo Exp. X=10% X’=20% Grupo Test. Y=10% Y’=14% Impacto = (20-10)-(14-10) = 10-4 = 6%

37. MEDICIÓN DE IMPACTO:MODELOS NO EXPERIMENTALES • * Falta alguna o ambas de las mediciones que son requisito de la experimentación y cuasiexperimentación: - Medición en un grupo testigo para comparar con el grupo experimental. Se recomienda analizar la posible incidencia de variables contextuales ajenas al programa. -Medición del “antes” para el cálculo de la diferencia “antes-después”. Se recomienda reconstruir la situación inicial para estimar el valor de partida. - Las dos anteriores. Ambas recomendaciones previas

38. MEDICIÓN CUALITATIVA DE IMPACTO Ejemplo de TR de servicios de salud materno-infantil del Gobierno del DF 2006-2012 • Reconstruir el estado inicial de la población del DF a partir de la información estadística disponible. • Analizar la evolución de los recursos, las acciones, los servicios brindados y la situación de la población en el período, con base también en información estadística. • OBSERVAR instalaciones de servicios de salud seleccionadas • Levantar una ENCUESTA de percepciones, representativa de la población del DF • Realizar ENTREVISTAS y GRUPOS FOCALES con funcionarios, personal médico y de enfermería • Valorar el impacto provocado por los servicios, deslindando hasta donde sea posible los efectos provocados por causas ajenas a los servicios, como la situación económica imperante en el país u otros servicios ofrecidos.

39. MEDICIÓN CUALITATIVA DE IMPACTOEjemplo servicios de salud materno-infantil del Gobierno del DF 2006-2012: LIMITACIONES • No se puso suficiente énfasis en el contraste de la situación de 2006 y 2012, ya que la encuesta recogió información fundamentalmente sobre la situación al final, con lo cual servirá como línea de base para futuras evaluaciones pero no permitió analizar a fondo la evolución en el período en estudio • No se trató de deslindar los efectos provocados por causas ajenas a los servicios del GDF

40. HACIA UN PROTOCOLO DE ESTÁNDARES DE UTILIZACIÓN DE MÉTODOS CUALITATIVOS EN EVALUACIÓN