Evaluation des Politiques Publiques

1. Evaluation des Politiques Publiques Il n’y a pas de qualité sans mesure Formateur : Vincent BOGAERS Mise à jour : 3/03/2014

2. PrésentationVincent BOGAERS • Etudes : • Master RH à l'IGS Pariset European MBA à l'ESG (En Anglais) • Parcours : • 14 ans d’expérience dans la formation • Privé (RH) : Informatique, industrie pharmaceutique • Public (Formation & recrutement…) : 7 ans en commune • Fondateur de SOI Conseil et Formation, Spécialiste de la FPT • Créateur du SOI TC, Système d’Orientation et d’Identification par la Typologie Croisée • Traducteur du IJTI Process en néerlandais Skype : soi.conseil vbogaers@soi-conseil.com Ingénierie de Formation

3. Pourquoi Vincent BOGAERS ? Double formation (Histoire) Master RH Master Management Maitrise démarches Qualité Marianne, Qualiville, Iso Expertise EvPol F° TdB, F° et Conseil Evpol Blog « Qualité territoriale » Connaissance FPT Ex Attaché Territorial L’homme au cœur d’un système Rationalisation et communication Identifier, mesurer et analyser les impacts Sens du Service Public

4. Objectif • Mettre en évidence les spécificités de l’évaluation et du questionnement évaluatif • Situer l’évaluation dans le cycle des politiques publiques et dans les projets des participants • Présenter à l’aide d’un exemple les enjeux et les différentes étapes de l’évaluation: de l’appel d’offre à la valorisation des résultats • Discuter des avantages et limites de l’institutionnalisation de l’évaluation • Permettre à chaque apprenant d’entrer dans la logique du questionnement évaluatif à l’aide de travaux de groupe

5. Evaluation des Politiques Publiques INTRODUCTION

6. Les originesaméricaines • Des interventions fédéralescontestées • Des programmes sociauxpeulégitimes • Démocratie = Accountability • L’orientationempiriste des sciences sociales • La viséed’une “politiquefondéesur des preuves” (Evidence-based policies)

7. Points forts de l’évaluationdans le monde anglophone • Uneréelleintégration de l’évaluation au processusbudgétaire • Le caractèreprogrammatique de l ’action publique • Le rôleactif du parlement et de la Cour des comptes • La professionnalisation des évaluateurs

8. Les organisations publiquesen France Q QOU Q C P

9. Définition Une organisation publique a • une activité de service • Une taille importante • Un environnement complexe et contraignant

10. Finalité des organisations publiques • Satisfaction de l’intérêt général • Ensemble des besoins sociaux que l’initiative privée ne peut satisfaire.

11. Missions • Support de l’administration • assurer le fonctionnement des organisations publiques  Répondre à la demande des citoyens  : • Missions de sécurité ou souveraineté : défense, police, justice… • Missions économiques : travaux publics, transports, communications, urbanisme, aménagement du territoire… • Missions sociales : éducation, santé, culture, sports, aide sociale…

12. Le financement du service public • Les services publics sont financés • par l’impôt, • par la contribution de l’usager • Les impôts constituent • 87 % des recettes de l’État • 83 % des recettes des collectivités

13. Les organisations publiquesen France QUOI Q O Q C P

14. QUOI

15. QUOI : Politiquepublique • Ensemble de moyens et de dispositifsd’actionmis en œuvre suite aux décisionsd’uneouplusieursautoritéspubliques, en vued’atteindre un objectifou de poursuivreunefinalité en lien avec l’intérêtgénéral.

16. Élémentsconstitutifsd’unepolitique • Misesur agenda • Orientation normative, fixation d’objectifs • Décision • Cibles • Théoried’action / mécanismesd’action(carottes, bâtons et sermons) • Mise en oeuvre • Résultats/ Effets (outputs/ outcomes) Effetsperversoucollatéraux (effets de système) • Contrôle/ audit/ évaluation.

17. Les organisations publiquesen France Q Q O Q COMMENT P

18. COMMENT : Unepluralité de mécanismes de rétroaction • Contrôlehiérarchique • Inspection/ audit interne • Contrôle de gestion • Contrôleexterne (Cour des comptes) • Indicateurs de performance/ benchmarks • Évaluation des politiques et programmes publics • « Évaluationpolitique » (sondagesd’opinion, élections)

19. Distinguer différents niveaux de résultats • Outputs (« extrantsopérationnels ») : • résultat direct de l’activité des services, biens et services produitsdans le cadre d’un programme • Outcomes (Impact, effets) : • effetséconomiques et sociaux du programme, à court, moyenou long terme

20. Evaluation et « approche cognitive » des politiquespubliques • « Les politiquespubliquessont le fruit d’interactionssociales qui donnent lieu à la production d’idées, de représentations et de valeurs communes » (Yves Surel) • Danscette perspective, l’évaluationapparaîtcomme un effort d’amplification et de systématisation des processusd’interaction et de connaissance qui « produisent » les politiquespubliques.

21. Trouver les informations

22. Les organisations publiquesen France Q QUIO Q C P

23. Rôle de l’instance d ’évaluation • Elaborer une grille de questionnement sur la base du mandat • Choisir une (des) méthode(s) • Rassembler des informations et documents pertinents • Procéder à des auditions • Organiser et piloter les enquêtes • Synthétiser et interpréter leurs résultats • Rédiger le rapport d’évaluation • Communiquer, expliquer, diffuser

24. Les organisations publiquesen France Q QOQUAND C P

25. Étapesd’uneévaluation

26. Les organisations publiquesen France SYNTHESE Q QOQ C P

27. Evaluation: vers une définition • Une évaluation est un jugement porté sur une donnée par référence à une valeur (F.RANGEON) • La recherche évaluative est l'application systématique des procédures de recherche sociale (P.H.ROSSI, H.E.FREEMAN) • L'évaluation permet de collecter et d'analyser de façon systématique de l'information pour les utilisateurs spécifiques afin de réduire l'incertitude, d'améliorer l'efficacité, l'efficience et l'aide à la décision (M.Q.PATTON)

28. Le modèle de l’expérimentationsociale Actions • Un « traitement » social est appliqué à un échantillonaléatoire de bénéficiaires • Un échantillonstatistiquementéquivalent de non bénéficiairesestconstitué • La situation des individus au regard des objectifsestobservéeavant, pendant et après la mise en œuvre du programme • Des tests statistiquespermettentd’établirdansquellemesure le traitement « fait la différence » Norme Outcomes Processus de comparaison

29. La démarche d’évaluation d’une politique publique - FPT Elus – Mandat (6 ans) • A partir d’une orientation politique, • précisée par un objectif stratégique, mesurable, • identifier les résultats produits par les actions • et mesurer les effets de celles ci • par des d’indicateurs d’impacts • d’un dispositif spécifique • concourant à une mission de service publique • mise en œuvre ou garantie par une organisation publique • ceci dans un territoire déterminé et un temps particulier Direction Générale (3 ans) Gestionnaires (1 an) Administrés

30. Evaluation des Politiques Publiques PARTIE I. CONTEXTE ET ENJEUX

31. L’analyse est indispensable à l’évaluation • Pour juger, il faut établir des liens de causalité • Pour établir des liens de causalité, il faut comprendre les dimensions des politiques publiques • L’évaluation se base sur l’analyse stratégique, logique, de la mise en œuvre, de la productivité, de l’efficience et des effets

32. Les défis de l’actionpublique

33. Des usages potentiels aux usages réels • Unefaible contribution au débat public • Des usages budgétairesplutôtrares, du moins en France • La place de l’évaluationdans la gouvernancemondiale (UE, Banquemondiale…) • Une aide réelle au pilotage des politiques • L’importance de la dimension « formative » • L’apport à l’élaboration de visions partagées • Des effets le plus souventdifférés et indirects

34. Les missions au sein des organisations publiques • Une organisation publique peut être en charge de différentes missions et une mission peut être confiée à diverses organisations. • La détermination des missions des organisations publiques résulte d’objectifs fixés et hiérarchisés par les élus en fonction de considérations politiques, économiques et sociales.

35. Pilotage au "rétroviseur" • Au moment de la publication, l'activité a déjà produit ses résultats. Il est alors bien trop tard pour corriger. On parle de conduite "rétroviseur". • Le pilote ne dispose que d'une vue de la route déjà parcourue. Ce n'est pas d'une grande aide pour négocier le prochain virage ! • Dans notre monde d'incertitude et de changement permanent, il n'est plus possible de se reposer sur ce principe dépassé. Il faut réformer cette conception et définir un véritable instrument d'aide au pilotage !

36. Références pour l’évaluation état idéal - état réel objectif normatif - état réel modèle exemplaire - cas réel Adapté de Owen, J.M. (1999), p. 173

37. L’évaluation dans le cycle des politiques publiques politique publique et approche d’évaluation Exemples d’objets d’évaluation • nature et distribution des besoins nécessitant une nouvelle intervention • identification de la population cible et de la population concernée • ressources nécessaires et existantes • faisabilité, pertinence et acceptabilité d’une intervention • adéquation objectif poursuivi – problème à résoudre Reconnaissance du problème et mise à l’agenda (évaluation du besoin) • adéquation hypothèse de causalité - problème à résoudre • adéquation ressources - problème à résoudre • adéquation programme d’intervention - problème à résoudre • adéquation référentiel de la politique publique et représentations des différents acteurs • cohérence du programme d’intervention Programmation (évaluation du concept et des inputs) Ajustement Processus de mise en œuvre (évaluation du processus, évaluation de l’output ou des prestations, évaluation du rapport inputs/outputs) • adéquation actions de mise en œuvre - problème à résoudre • adéquation prestations - programme d’intervention • relation objectif opérationnels - prestations • relation ressources allouées - ressources utilisées • atteinte de la population cible • modification du comportement de la population-cible • adéquation résolution du problème - objectifs politiques • relation résolution du problème - ressources engagées • effets pervers/ effets non voulus positifs/ effets indirects Effets de la mise en œuvre (évaluation de l’impact et de l’outcome)

38. Des surprises en évaluation • Une politique sans output • Des outputs sans impacts • Des impacts sans outcome • Des outcomes sans impact • Des liens de causalité difficiles à établir

39. Evaluation des Politiques Publiques PARTIE II. SAVOIR CE QUE L’ON VEUT EVALUER

40. Différents temps de l’évaluation • En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : • l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; • l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ; • l'évaluation in itinere ou chemin faisant. Clôture et préparation d’une nouvelle politique publique Définition d’une politique publique Mise en œuvre d’une politique publique Ex-ante In-itinere Ex-post

41. « Observer ou suivre » un territoire? Observatoire de territoire Lieu où on essaie de mesurer l’atteinte d’objectifs Lieu de fourniture de données, d’informations Lieu où on essaie de répondre à des questions Indicateurs quanti et quali Statistiques Données Cartes Etc. Indicateurs quanti et quali Indicateurs de résultat Indicateurs d’impact

42. Action 3 Action 2 Action 1 Indicateurs de résultats Territoire Tableau de bord / Observatoire Evaluation à différents niveaux à différents temps PLAN D’ACTION Contenu de l’action EVALUATION PAR ACTION Indicateurs spécifiques EVALUATION GLOBALE Indicateurs globaux Indicateurs d’impacts ► Enquêtes D’après RCT A21 St Etienne Métropole

43. L’outil d’analyse • Le questionnement • Mots clés, Questions, Mots clés et questions • Questionnement simple sans être « simpliste » Un nombre de critères suffisant mais limité Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)

44. L’outil d’analyse • QQOQCP • Pareto : 80/20

45. Les chiffres à retenir • Maximum 3 objectifs à suivre • 3 indicateurs par objectifs soit 12 • 1 pilote

46. Evaluation des Politiques Publiques PARTIE II. MESURER

47. Construire Les indicateurs

48. Qu’estcequ’unindicateur ? • Un chiffre qui « renseigne » sur un phénomène ou son évolution • Un « dispositif d’agrégation optimale de l’information » • Sa fonction est d’attirer l’attention sur un fait ou une tendance importante • En général, il ne suffit pas pour porter un jugement sur la réussite d’une action

49. Indicateur : Définition • Un indicateur est une formule de calcul • basée sur des données brutes • permettant de quantifier, de mesurer • Une évolution • Une proportion, un rapport • au regard d’une norme (interne / externe). • Il peut être simple, et mesurer un flux, selon un objectif opérationnel • Il peut être composite, et mesurer des résultats et des effets, en fonction d’un objectif stratégique

50. Place des indicateursdansl’évaluation • Toute évaluation repose sur des chiffres • Les indicateurs occupent un place très variable comme point d’appui des conclusions : • Ils répondent parfois par eux-mêmes aux questions de l’évaluation • En règle générale, ils demandent à être interprétés et complétés par des informations qualitatives