THEORIES AND METHODS OF EVALUATION

1. THEORIES AND METHODS OF EVALUATION Juan Andrés Ligero Lasa Profesor de la Universidad Carlos III de Madrid Codirector del Máster en Evaluación de Programas y Políticas Públicas, UCM.

2. OBJETIVOS • Principales conceptos de evaluación. • Fases para diseñar y realizar una evaluación • Principales aproximaciones teóricas. • Posibilidades y usos de la evaluación

3. OBJECTIVES • Main concepts in evaluation • Phases to disegn and to do evaluation • Main theorical approaches. • The possibilities and the use of evaluations.

4. DEFINICIÓN DE EVALUACIÓN Recoger y analizar sistemáticamente una información para poder determinar el valor o mérito de una intervención (Joint Committee Standard Education)

7. (STEIERMARK, XVIII)

8. FASES DE LA EVALUACIÓN (2012) 1. MOTIVACIÓN PARA EVALUAR, ENCARGO 2. DEFINCIÓN DE UNIDAD Y ANÁLISIS DECONTEXTO 3. ELECCIÓN APROXIMACIÓN EVALUATIVA 4. OPERACIONALIZACIÓN: PREGUNTAS, INDICADORES O SISTEMAS DE MEDIDA 5. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS 6. DISEÑO METODOLÓGICO • 7. TRABAJO DE CAMPO 8. ANÁLISIS DE DATOS 9. INTERPRETACIONES 10. JUICIOS 11. RECOMENDACIONES 12. INFLUENCIA, COMUNICACIÓN DE RESULTADOS

9. 1. MOTIVACIÓN PARA EVALUAR, PROPÓSITOS

10. PROPÓSITOS DE LA EVALUACIÓN • Ilustración , comprensión (enlightenment) Ilustrar, aclarar, dar luz, comprender qué está pasando y cómo funciona el programa La evaluación suele producir un cambio, dota de nuevos significado sobre la realidad del programa y de su intervención. • La retroalimentación o mejora (improvement) Es una manera de recibir “feedback” sobre las acciones, intervenciones o programas que se llevan a cabo, un modo de mejorar y progresar. La evaluación puede ser un proceso de aprendizaje de la propia intervención. • El control de responsabilidades y rendimiento de cuentas (accountability) “Rendir cuentas” en la acepción más flexible del término, no se restringe exclusivamente a los aspectos económicos sino también a la responsabilidad social y política, especialmente si las actividades llevadas a cabo se financian con fondos públicos ya que el contribuyente tienen derecho a saber en qué y cómo se está empleando el dinero público.

11. Purposes (slide of Jennifer Greene) : • Knowledge generation and learning • Accountability and decision support • Program improvement and organizational development • Democratization – advancing equity or social justice

12. Lo primero es saber qué quiero hacer con la evaluación.

13. 2. ACOTACIÓN DEL OBJETO

14. Evaluación Profesional (slide of Marvin Alkin) • Evaluación de productos • Evaluación de personas • Evaluación de programas

15. QUÉ OBJETOS COMPRENDE • Programas, proyectos, planes, políticas,… • Servicios, organizaciones, empresas, entidades,… • Iniciativas lesgilativas, estrategias,… Cualquier tipo de acción u organización con cierto grado de estructuración.

16. VINCULACIÓN PROGRAMA Y NECESIDADES PROGRAMA, SERVICIO NECESIDADES SOCIALES

17. OBJETIVOS PRINCIPALES DE LA EVALUACIÓN PROGRAMA, SERVICIO NECESIDADES SOCIALES EVALUACIÓN

18. Abstracto, construido socialmente, intangible,… • No es de materia tangible (o al menos del mismo modo que lo son la piedra, la madera,…). • No es un nombre, ni unas personas, ni unas ideas, ni unos recursos sino una conjunción de todo ello que tiene una identidad distinta a cada una de sus partes. • Es una realidad que se conforman socialmente, es un hecho social, constituido a través de acuerdos intersubjetivos. • No tangible, construido socialmente, abstracto

19. I need analytic tools to picture a program Lo que provoca: Resultados. Los recursos con lo que cuenta: Estructura Lo que hace: Procesos

20. 2.1 Resultados

21. HIPÓTESIS PRINCIPAL El programa produce cambios PROGRAMA, SERVICIO CAMBIOS EN LA REALIDAD

22. RESULTADOS Los resultados son cambios en la población o poblaciones donde se fija la intervención. Tres modos de identificar los resultados: - Resultados preordenados/estandarizados. - Objetivos definidos por el programa (Tyler) - Libre de objetivos, todos los resultados que se detecten (Scriven) -

23. 3 modos de identificar los resultados • Preordeandos: Selección a priori y medición de unos pocos criterios de resultados (Stake,2006: 151). • Objetivos: son intenciones previstas de cambio y los resultados los cambios reales producidos. • Libre de objetivos: La indagación de los resultados no está condicionada por los objetivos descritos.

24. DIFERENCIA ENTRE OUTCOMES Y OUTPUTS(ejemplo) Población saludable Toma conciencia Riesgos Hábitos para vida cotidiana Atención primaria Detección , control de epidemias

25. PREVENCIÓN CONSUMO Reducción de consumo Autoestima Habilidades para la vida Información sustancias Hábitos saludables

26. TÉRMINOS

27. OBJETIVOS DEL PROGRAMA TIEMPO JOVEN

28. ASIMILIACIÓN (Carlos Giménez) Integración Limitación de rasgos diferenciados Dispositivos: conocer lengua y cultura de destino Seguimiento y penalización de la discriminación

29. MULTICULTURALISMO (Carlos Giménez) Integración Información de derechos ciudadanos Dispositivos: desarrollo de lenguas y culturas de origen Adaptación normativa a diferencias culturales

30. TEORÍA DE UN PROGRAMA DE PREVENCIÓN

31. Las 14 teorías que consideran Petratis, Flay y Millar (1995) para explicar laexperimentación con el uso de sustancias. • Teorías cognitivo-afectivas • Teoría de la acción razonada • Teoría de la conducta planificada • Teorías de aprendizaje social • Teoría del aprendizaje social • Teoría del aprendizaje social/cognitiva social • Teorías del apego social • Teoría del control social • Modelo de desarrollo social • Teorías en las que las que las características interpersonales juegan un papel esencial • Modelo de ecología social • Teoría del auto-desprecio • Modelo de varias etapas de aprendizaje social • Teoría de la interacción familiar • Teorías que integran constructor cognitivo-afectivos, de aprendizaje, compromiso y apego, e intrapersonales • Teoría de la conducta problema • Teoría de cluster de iguales • Modelo de vulnerabilidad de Sher • Modelo de Dominio. (Becoña, 76).

32. TEORÍA DEL PROGRAMA ES: -“La construcción de un modelo razonable y sensible de cómo se supone que funciona el programa” (Bickmancit en Chen, 1990: 40). - “La cadena de asunciones que explican cómo las actividades conducen paso por paso a los resultados esperados” (Weiss, 1998: 265)

33. BLACK BOX Sobre la base de observaciones cualitativas, Weiss y Rein (1970) critican las evaluaciones que no informan sobre lo que ocurre en la “caja negra”, refiriéndose con este término al proceso de implementación del programa (Ballart, 1996, pág 329).

34. 2.2 Procesos

35. INSIDE BLACK BOX Las cosas que hace el programa Actividades, implementación = procesos

36. DEFINICIÓN DE PROCESO Secuencia de acciones que con su desempeño genera un producto o servicio con un valor añadido con relación a las “entradas” iniciales

37. LOS PROCESOS PRODUCEN RESULTADOS - Procesos - Resultados Secuencia de actividades que produce resultados

38. LOS PROCESOS PRODUCEN RESULTADOS Resultados + Procesos +

39. 2.3 Estructura

40. ESTRUCTURA Tal y como citan Cohen y Franco por estructura se puede entender la organización relativamente estable de distintos tipos de recursos para alcanzar los fines del proyecto. (1993:95). • Carol Weiss menciona algunos aspectos estructurales (1998:193): • La organización u organizaciones responsables de la intervención. • El presupuesto asignado. • Experiencia y competencias de los trabajadores. • La gestión. • El sitio o sitios físicos. • El plan de actividades. • Los métodos de prestar el servicio. • La filosofía o principios de operación. • Los propósitos.

41. Resultados + Procesos+ Estructura = Perspectiva sistémica Un sistema es un conjunto con diferentes elementos independientes e interrelacionados entre sí.

42. PERSPECTIVA SISTÉMICA NECESIDADES SOCIALES ESTRUCTURA: Recursos, personas, medios, misión, organización,… IMPACTO: outcomes, logro de objetivos finales PROCESOS: Esta dimensión se centra en cómo se está aplicando el programa EFICACIA: outputs, objetivos intermedios, logros que el programa puede garantizar.

43. TEORÍA DEL CAMBIO, MODELO LÓGICO (Wisconsin)

44. PERSPECTIVA SISTÉMICA DE LOS PROGRAMAS

45. Imágenes de modelos lógicos http://www.google.es/search?q=logic+model&rlz=1C2SKPM_enES447ES524&source=lnms&tbm=isch&sa=X&ei=6L-lUd6KLK6Q7Aal8YDQAg&ved=0CAcQ_AUoAQ&biw=1138&bih=714

46. 3. APROXIMACIÓN EVALUATIVA

47. 3. EVALUATIVE APPROACHES • 3.1 Theory driven evaluation • 3.2 Participatory approaches • 3.3 Transformative paradigm • 3.4 Criteria-based evaluation

48. PREGUNTAS/CRITERIOS EVALUACIÓN Las preguntas son requerimientos de información que implican una valoración sobre la intervención o sus efectos. Por ejemplo: - ¿Se ha conseguido que los jóvenes adquieran los conocimientos? - ¿La metodología docente es adecuada? - ¿Los docentes están suficientemente cualificados? Es conveniente tener en cuenta: • Las preguntas deben implicar una valoración y no una mera indagación sobre algún aspecto del objeto. • Las preguntas tienen que estar dirigidas al programa (o a su relación con las necesidades sociales) y no a sucesos o dinámicas sociales ya que esto sería otro objeto de estudio más propio de la investigación. • No deben ser indicadores, deben dejar claro las cuestiones que se quieren evaluar indistintamente de que especifique o no cómo se van a medir.

49. ¿De dónde salen las preguntas? De la opción evaluativa escogida

50. 3.1 THEORY DRIVEN EVALUATION This method proposes to: • Identify the programme theory or logic model. • According to this analysis, we will design our evaluation. • The mail goal is to analysis if the programme theory works and if it is promoting a more equitable society.