Évolution des modèles et des pratiques d’appui à l’évaluation Michel Demarteau

1. Évolution des modèles et des pratiques d’appui à l’évaluation Michel Demarteau Observatoire de la santé du Hainaut

2. Évolution des modèles et des pratiques d’appui à l’évaluation I Théories et pratiques de l’évaluation II Évolution du modèle d’appui à l’évaluation de l’APES III Évolution des modèles d’appui à l’évaluation IV Perspectives pour l’appui à l’évaluation en promotion de la santé en Communauté Wallonie Bruxelles Demarteau 51122

3. Demarteau 51122 I Théories et pratiques de l’évaluation Théoriser l’évaluation parce que c’est « Qui nous sommes » (Shadish 1998) S’il y a un effort de conceptualisation des pratiques, il n’y a pas encore de « théorie globale » de l’évaluation qui permette d’identifier les pratiques, de les comparer, de les tester et de conduire à des consensus.

4. Demarteau 51122 I Théories et pratiques de l’évaluation • Un vocabulaire pour se parler : évaluation formative et sommative, usage instrumental et conceptuel, imputabilité… • Des enjeux à approfondir : la distinction qualitatif – quantitatif qui est autant épistémologique que méthodologique. • Des débats à mener : justice sociale, politique publique, utilisation… • Une identité à construire : la rencontre spécifique de la connaissance, de la valeur et de la décision. • Une image à fournir sur la capacité à répondre aux besoins d’un « client ».

5. II Évolution du modèle APES Le premier modèle : médiation entre recherche et action Une cellule de conseil en méthodologie et en évaluation pour améliorer la qualité des actions. Cette initiative s’inspire du mouvement des boutiques de sciences et de la recherche action. Des difficultés sont identifiées. (Demarteau 1984) • Accueillir et comprendre les demandes du terrain. • Répondre de manière interdisciplinaire. • Construire un rapport égalitaire, contractuel. • Gérer l’absence de moyens dans un contexte universitaire peu favorable. • Négocier l’utilisation. experts acteurs Apes Demarteau 51122

6. II Évolution du modèle APES Le second modèle : accompagnement, la rencontre entre expert de l’évaluation et expert de l’action Ce modèle s’appuie sur une première rencontre avec les théoriciens de l’évaluation (Stufflebeam, Fuley 1971) tout en conservant le cadre initial du conseil en méthodologie. (Demarteau 1991) L’évaluateur de l’APES est un consultant. Demarteau 51122

7. II Évolution du modèle APES De nouveaux modèles : l’évaluation négociée Un cadre conceptuel se construit • à partir d’un questionnement et d’une recherche sur les pratiques • nourris par des modèles comme celui de l’évaluation centrée sur l’utilisation (Patton 1980). La grille APEP L’enjeu social de l’évaluation L’enjeu stratégique de l’évaluation Le modèle de l’évaluation négociée Demarteau 51122

8. Les pratiques d’évaluationLa grille APEPDemarteau 1998 Trois actions (ou composantes) Trois enjeux Le processus de collecte d’informations OBSERVER Le jugement sur la valeur d’un objet JUGER La décision en vue de l’utilisation AGIR Un enjeu socialL’explicitation Un enjeu stratégiqueLes acteurs Un enjeu techniqueLes modalités (formalisation) Un cadre de référence pour l’évaluationChantal Vandoorne Juin 2003 - APES-ULG

9. Un enjeu social… passer de l’implicite à l’explicite • Les trois composantes de l’évaluation sont toujours présentes. • L’énonciation de l’une ou l’autre des composantes est significative de la fonction sociale que l’on donne à l’évaluation • Seule l’énonciation permet de faire de l’évaluation un objet de négociation Un cadre de référence pour l’évaluationChantal Vandoorne Juin 2003 - APES-ULG

10. Un enjeu stratégique… l’appropriation de l’évaluation L’utilité sociale d’une évaluation dépend des conditions d’appropriation de cette évaluation par les acteurs L’enjeu social et l’enjeu stratégique sont intimement liés Un cadre de référence pour l’évaluationChantal Vandoorne Juin 2003 - APES-ULG

11. Un cadre méthodologique pour concevoir une évaluation négociée Éléments à éclaircir et à négocier avec les acteurs Questions des acteurs Buts (finalités) de l’évaluation Contexte Objets et critères d’évaluation Indicateurs et outils (comment ?) Structure Objectifs et activités du programme et des acteurs C.VANDOORNE, S. GRIGNARD APES-Ulg PARIS – Mars 2005

12. Demarteau 51122 III Évolution des modèles d’appui à l’évaluation Quelques repères historiques : • 19ème : l’inspection sur des normes de fonctionnement • Début 20ème : l’évaluation de résultats par des outils quantitatifs • 1930 : l’évaluation par rapport à des objectifs fixés (Tyler) • 1970 : l’évaluation en fonction de décisions à prendre (Stufflebeam) • 1980 : l’évaluation en fonction des acteurs et de leurs enjeux (Patton) • Depuis,de nombreux modèles d’évaluation basés sur la collaboration et la participation.

13. III Évolution des modèles d’appui à l’évaluation Empowerment Évaluation (Fetterman 2001) Médiation Négociation Accompagnement Demarteau 51122

14. Demarteau 51122 III Évolution des modèles d’appui à l’évaluation Empowerment Évaluation (Fetterman 2001) Des racines : • Psychologie communautaire (Rappaport 1987, Zimmerman 1988) • Anthropologie; Évaluation collaborative et participative; Recherche action; Une définition : • «L’utilisation des concepts, des techniques et des découvertes de l’évaluation pour nourrir le développement et l’auto-détermination.» Une démarche en trois étapes : • Définir la mission : exprimer, débattre, synthétiser; • Faire l’inventaire des activités : lister, sélectionner, donner une note, débattre; • Planifier le futur : fixer des buts, des stratégies et la façon de les documenter. Des stades d’évolution : • Former; Faciliter; Défendre; Éclairer; Libérer. Des conditions : • Un processus démocratique; Une communauté d’apprenants

15. DIFFUSION • Des sociétés savantes : • 1993, l’association américaine d’évaluation • 1998, la société canadienne d’évaluation • 2002, la société australienne d’évaluation • 2004, la société européenne d’évaluation • Des gouvernements : • Santé Canada pour l’évaluation de projet. • Des fondations privées : • Une fondation privée américaine finançant des services de santé communautaire, d’éducation, de développement rural. • Des organisations internationales : • OXFAM, la Division des services de supervision du Fonds des Nations Unies pour la population, l’OCDE … • L’action sociale et communautaire : • Par exemple évaluation du « travail de rue » au Québec. III Évolution des modèles d’appui à l’évaluation Demarteau 51122

16. Demarteau 51122 IV Perspectives • Développer l’appui à l’évaluation en Communauté Wallonie Bruxelles • L’évaluation interne accompagnée est formatrice. • Avec cette évaluation, nous pouvons apprendre et développer nos capacités au niveau de projets, d’organisations ou de politiques. • C’est une approche que nous pratiquons depuis 25 ans en Communauté Wallonie Bruxelles. • Nous devons cependant la maintenir et la développer. • Maintenir, car elle a un coût. • Développer, car nous pouvons faire plus et mieux :

17. Demarteau 51122 IV Perspectives Faire plus et mieux • Réaliser l’évaluation du plan communautaire opérationnel dans cette direction ? • Engager les associations et les administrations dans un processus d’apprentissage collectif en travaillant, par exemple, sur la qualité des rapports d’activité ? • Amplifier l’offre d’appui à l’évaluation en rassemblant les compétences en évaluation participative avec d’autres acteurs de l’action sociale ? En souhaitant que l’APES continue à y contribuer encore pour 25 ans par l’action, la formation, mais aussi la recherche et … la théorisation.