L’évaluation des CUCS

1. Présentation du 7 mars 2008 RésO Villes L’évaluation des CUCS RésO Villes Rennes, le 7 mars 2008

2. SOMMAIRE • Éléments de cadrage • Le développement irréversible de l’évaluation mais des freins encore puissants • L’évaluation un outil stratégique • Des pièges à éviter • Repères méthodologiques • La nécessité d’un référentiel • Le déroulement de l’évaluation Cahier des charges

3. Éléments de cadrage

4. Le développement irréversible de l’évaluation • Grandes organisations d’aide au développement • Introduite en France dans les années 90 • M Rocard (rapport Viveret en 1989) • Union européenne • évaluation de programmes financés sur fonds structurels de l’État(règlement de 1993) • La LOLF • 1ier août 2000 • Politique de la ville • Circulaires du 31 août 1998 pour les contrats 94/99 et des 24 mais & 15 septembre 2006 pour les contras 2007/2012 • Secrétariat d’État • en charge de la prospective et de l’évaluation des politiques publiques (E Besson)

5. Un contexte favorable • La complexité croissante du contexte • Les interdépendances sont multiples (économique, sociales…) • Les choix sont multiples, décider devient plus difficile • Des acteurs nombreux et des partenariats systématiques • Leurs logiques respectives, les arbitrages sont nécessaires • Des ressources rares • Les besoins se diversifient et augmentent, la priorité doit être donnée aux choix les plus efficaces

6. Des freins encore puissants • Méconnaissance • On lui reproche d’être trop lourde, trop coûteuse • Un facteur de perturbation politique • Perçu comme un jugement critique car le débat a tendance, par nature, à se focaliser plus sur ce qui fâche que sur ce qui est consensuel • La culture de l’habitude • Logique de moyens et non de résultats • Corporatisme • Différentes sphères qui ne souhaitent pas forcément établir des passerelles entre elles

7. L’évaluation, un outil stratégique • Ne pas confondre le « suivi » et l’évaluation • Suivi  conformité • Évaluation  jugement / remise en cause • Des potentialités considérables • Lieu de rapprochement entre sciences et action • Support de la mémoire collective et de construction d’une culture commune • Outil de démocratie locale • Processus d’apprentissage dans l’action • Levier de changement

8. Pas de one best way mais un « art de faire » • Faire à chaque fois du « sur mesure » • Il en faut pour tous les «goûts » • Rarement dans le champ de l’analyse mais dans l’exigence absolu de la synthèse • La capacité à avancer dans le terrain miné ; des intérêts contradictoires • La capacité à déchiffrer le langage des acteurs

9. Évaluer c’est juger Les pièges à éviter • Un jugement de valeur = un pouvoir et un risque  • Des principes de base à respecter pour une évaluation • Principes de compétence • Principe de distanciation • Principe de pluralité • Principe de responsabilité • Principe d’opportunité • Principe de respect des personnes • Principes de transparence

10. Repères méthodologiques

11. La nécessité d’un « référentiel » • La (re)constitution de l’arbre logique • L’identification d’indicateurs • Le système d’acteurs

12. La gestion du cycle du projet

13. L’identification d’indicateurs • Évaluer par rapport à quoi ? • État des lieu au démarrage du projet temps « T0 » • Dispositif d’observation et de recueil de données • Type d’indicateurs (mesure du quantitatif) • De suivi : réalisation / résultats • D’effets ou d’impact • De contexte pour établir des comparaison • Choix des « bons indicateurs • Disponibilité • Précision • Utilité

14. Financeurs Opérateurs Bénéficiaires Le système d’acteurs • Fonctionnement souhaitable ? • Type de relations attendues, partenariats ?

15. Le déroulement de l’évaluation • Phase de lancement (évaluer pourquoi ?)  Rédaction du cahier des charges • Phase de constat (évaluer quoi ?)  Modalités de recueil des données • Phase de jugement (évaluer par rapport à quoi ?)  Questions évaluatives • Phase de restitution évaluer pour produire quoi ?)  Recommandations

16. Conditions de réussite • La qualité de la commande • Implication des destinataires de l’étude • La pertinence des méthodes

17. La phase de lancement rédaction du cahier des charges • Le type de démarche souhaitée et le dispositif de suivi de l’évaluation • La temporalité de l’évaluation ; à quel étapes du cycle du projet ? • Les champs de l’évaluation & les questions évaluatives

18. Type de dispositif • Les élus • Leur donner la 1ière place, celle de la décision • Les techniciens • Ne pas se priver de leur expertise • Les habitants • Il est important de pouvoir prendre en compte leur point de vue « décalé »

19. temporalité • Évaluer quand ?

20. Champs de l’évaluation • Choisir des priorités

21. La phase de constatModalités de recueil de données • L’exploitation documentaire • L’observation directe • L’enquête : repérer les tendance • Les entretiens individuels : recueillir des ressentis • Les réunions collectives ; entretiens pied d’immeuble ; micro-trottoir ; entretien-charade » : repérer des réseaux • Le focus-group : repérer des opinion collective • L’étude de cas : comprendre des effets • Le suivi de cohorte : comprendre des évolutions

22. La phase de jugementLes grands critères d’évaluation

23. La phase de restitution formulation derecommandations • A partir des résultats, comprendre pourquoi et comment cela a été possible • Pour proposer des améliorations de l’action publique • Idéalement à cette étape, le commanditaire prend des décision

24. Présentation du 14/12/2007 Paris V - Sorbonne Merci pour votre attention Magistère de sciences sociales Paris V - Sorbonne 14 décembre 2007

25. Cahier des charges d’une évaluation (1)

26. Cahier des charges d’une évaluation (2)

27. Cahier des charges d’une évaluation (3)