1.12k likes | 1.43k Views
Evaluation des Politiques Publiques. Il n’y a pas de qualité sans mesure. Formateur : Vincent BOGAERS Mise à jour : 3/03/2014. Présentation Vincent BOGAERS. Etudes : Master RH à l'IGS Paris et European MBA à l'ESG (En Anglais) Parcours : 14 ans d’expérience dans la formation
E N D
Evaluation des Politiques Publiques Il n’y a pas de qualité sans mesure Formateur : Vincent BOGAERS Mise à jour : 3/03/2014
PrésentationVincent BOGAERS • Etudes : • Master RH à l'IGS Pariset European MBA à l'ESG (En Anglais) • Parcours : • 14 ans d’expérience dans la formation • Privé (RH) : Informatique, industrie pharmaceutique • Public (Formation & recrutement…) : 7 ans en commune • Fondateur de SOI Conseil et Formation, Spécialiste de la FPT • Créateur du SOI TC, Système d’Orientation et d’Identification par la Typologie Croisée • Traducteur du IJTI Process en néerlandais Skype : soi.conseil vbogaers@soi-conseil.com Ingénierie de Formation
Pourquoi Vincent BOGAERS ? Double formation (Histoire) Master RH Master Management Maitrise démarches Qualité Marianne, Qualiville, Iso Expertise EvPol F° TdB, F° et Conseil Evpol Blog « Qualité territoriale » Connaissance FPT Ex Attaché Territorial L’homme au cœur d’un système Rationalisation et communication Identifier, mesurer et analyser les impacts Sens du Service Public
Objectif • Mettre en évidence les spécificités de l’évaluation et du questionnement évaluatif • Situer l’évaluation dans le cycle des politiques publiques et dans les projets des participants • Présenter à l’aide d’un exemple les enjeux et les différentes étapes de l’évaluation: de l’appel d’offre à la valorisation des résultats • Discuter des avantages et limites de l’institutionnalisation de l’évaluation • Permettre à chaque apprenant d’entrer dans la logique du questionnement évaluatif à l’aide de travaux de groupe
Evaluation des Politiques Publiques INTRODUCTION
Les originesaméricaines • Des interventions fédéralescontestées • Des programmes sociauxpeulégitimes • Démocratie = Accountability • L’orientationempiriste des sciences sociales • La viséed’une “politiquefondéesur des preuves” (Evidence-based policies)
Points forts de l’évaluationdans le monde anglophone • Uneréelleintégration de l’évaluation au processusbudgétaire • Le caractèreprogrammatique de l ’action publique • Le rôleactif du parlement et de la Cour des comptes • La professionnalisation des évaluateurs
Les organisations publiquesen France Q QOU Q C P
Définition Une organisation publique a • une activité de service • Une taille importante • Un environnement complexe et contraignant
Finalité des organisations publiques • Satisfaction de l’intérêt général • Ensemble des besoins sociaux que l’initiative privée ne peut satisfaire.
Missions • Support de l’administration • assurer le fonctionnement des organisations publiques Répondre à la demande des citoyens : • Missions de sécurité ou souveraineté : défense, police, justice… • Missions économiques : travaux publics, transports, communications, urbanisme, aménagement du territoire… • Missions sociales : éducation, santé, culture, sports, aide sociale…
Le financement du service public • Les services publics sont financés • par l’impôt, • par la contribution de l’usager • Les impôts constituent • 87 % des recettes de l’État • 83 % des recettes des collectivités
Les organisations publiquesen France QUOI Q O Q C P
QUOI : Politiquepublique • Ensemble de moyens et de dispositifsd’actionmis en œuvre suite aux décisionsd’uneouplusieursautoritéspubliques, en vued’atteindre un objectifou de poursuivreunefinalité en lien avec l’intérêtgénéral.
Élémentsconstitutifsd’unepolitique • Misesur agenda • Orientation normative, fixation d’objectifs • Décision • Cibles • Théoried’action / mécanismesd’action(carottes, bâtons et sermons) • Mise en oeuvre • Résultats/ Effets (outputs/ outcomes) Effetsperversoucollatéraux (effets de système) • Contrôle/ audit/ évaluation.
Les organisations publiquesen France Q Q O Q COMMENT P
COMMENT : Unepluralité de mécanismes de rétroaction • Contrôlehiérarchique • Inspection/ audit interne • Contrôle de gestion • Contrôleexterne (Cour des comptes) • Indicateurs de performance/ benchmarks • Évaluation des politiques et programmes publics • « Évaluationpolitique » (sondagesd’opinion, élections)
Distinguer différents niveaux de résultats • Outputs (« extrantsopérationnels ») : • résultat direct de l’activité des services, biens et services produitsdans le cadre d’un programme • Outcomes (Impact, effets) : • effetséconomiques et sociaux du programme, à court, moyenou long terme
Evaluation et « approche cognitive » des politiquespubliques • « Les politiquespubliquessont le fruit d’interactionssociales qui donnent lieu à la production d’idées, de représentations et de valeurs communes » (Yves Surel) • Danscette perspective, l’évaluationapparaîtcomme un effort d’amplification et de systématisation des processusd’interaction et de connaissance qui « produisent » les politiquespubliques.
Les organisations publiquesen France Q QUIO Q C P
Rôle de l’instance d ’évaluation • Elaborer une grille de questionnement sur la base du mandat • Choisir une (des) méthode(s) • Rassembler des informations et documents pertinents • Procéder à des auditions • Organiser et piloter les enquêtes • Synthétiser et interpréter leurs résultats • Rédiger le rapport d’évaluation • Communiquer, expliquer, diffuser
Les organisations publiquesen France Q QOQUAND C P
Les organisations publiquesen France SYNTHESE Q QOQ C P
Evaluation: vers une définition • Une évaluation est un jugement porté sur une donnée par référence à une valeur (F.RANGEON) • La recherche évaluative est l'application systématique des procédures de recherche sociale (P.H.ROSSI, H.E.FREEMAN) • L'évaluation permet de collecter et d'analyser de façon systématique de l'information pour les utilisateurs spécifiques afin de réduire l'incertitude, d'améliorer l'efficacité, l'efficience et l'aide à la décision (M.Q.PATTON)
Le modèle de l’expérimentationsociale Actions • Un « traitement » social est appliqué à un échantillonaléatoire de bénéficiaires • Un échantillonstatistiquementéquivalent de non bénéficiairesestconstitué • La situation des individus au regard des objectifsestobservéeavant, pendant et après la mise en œuvre du programme • Des tests statistiquespermettentd’établirdansquellemesure le traitement « fait la différence » Norme Outcomes Processus de comparaison
La démarche d’évaluation d’une politique publique - FPT Elus – Mandat (6 ans) • A partir d’une orientation politique, • précisée par un objectif stratégique, mesurable, • identifier les résultats produits par les actions • et mesurer les effets de celles ci • par des d’indicateurs d’impacts • d’un dispositif spécifique • concourant à une mission de service publique • mise en œuvre ou garantie par une organisation publique • ceci dans un territoire déterminé et un temps particulier Direction Générale (3 ans) Gestionnaires (1 an) Administrés
Evaluation des Politiques Publiques PARTIE I. CONTEXTE ET ENJEUX
L’analyse est indispensable à l’évaluation • Pour juger, il faut établir des liens de causalité • Pour établir des liens de causalité, il faut comprendre les dimensions des politiques publiques • L’évaluation se base sur l’analyse stratégique, logique, de la mise en œuvre, de la productivité, de l’efficience et des effets
Des usages potentiels aux usages réels • Unefaible contribution au débat public • Des usages budgétairesplutôtrares, du moins en France • La place de l’évaluationdans la gouvernancemondiale (UE, Banquemondiale…) • Une aide réelle au pilotage des politiques • L’importance de la dimension « formative » • L’apport à l’élaboration de visions partagées • Des effets le plus souventdifférés et indirects
Les missions au sein des organisations publiques • Une organisation publique peut être en charge de différentes missions et une mission peut être confiée à diverses organisations. • La détermination des missions des organisations publiques résulte d’objectifs fixés et hiérarchisés par les élus en fonction de considérations politiques, économiques et sociales.
Pilotage au "rétroviseur" • Au moment de la publication, l'activité a déjà produit ses résultats. Il est alors bien trop tard pour corriger. On parle de conduite "rétroviseur". • Le pilote ne dispose que d'une vue de la route déjà parcourue. Ce n'est pas d'une grande aide pour négocier le prochain virage ! • Dans notre monde d'incertitude et de changement permanent, il n'est plus possible de se reposer sur ce principe dépassé. Il faut réformer cette conception et définir un véritable instrument d'aide au pilotage !
Références pour l’évaluation état idéal - état réel objectif normatif - état réel modèle exemplaire - cas réel Adapté de Owen, J.M. (1999), p. 173
L’évaluation dans le cycle des politiques publiques politique publique et approche d’évaluation Exemples d’objets d’évaluation • nature et distribution des besoins nécessitant une nouvelle intervention • identification de la population cible et de la population concernée • ressources nécessaires et existantes • faisabilité, pertinence et acceptabilité d’une intervention • adéquation objectif poursuivi – problème à résoudre Reconnaissance du problème et mise à l’agenda (évaluation du besoin) • adéquation hypothèse de causalité - problème à résoudre • adéquation ressources - problème à résoudre • adéquation programme d’intervention - problème à résoudre • adéquation référentiel de la politique publique et représentations des différents acteurs • cohérence du programme d’intervention Programmation (évaluation du concept et des inputs) Ajustement Processus de mise en œuvre (évaluation du processus, évaluation de l’output ou des prestations, évaluation du rapport inputs/outputs) • adéquation actions de mise en œuvre - problème à résoudre • adéquation prestations - programme d’intervention • relation objectif opérationnels - prestations • relation ressources allouées - ressources utilisées • atteinte de la population cible • modification du comportement de la population-cible • adéquation résolution du problème - objectifs politiques • relation résolution du problème - ressources engagées • effets pervers/ effets non voulus positifs/ effets indirects Effets de la mise en œuvre (évaluation de l’impact et de l’outcome)
Des surprises en évaluation • Une politique sans output • Des outputs sans impacts • Des impacts sans outcome • Des outcomes sans impact • Des liens de causalité difficiles à établir
Evaluation des Politiques Publiques PARTIE II. SAVOIR CE QUE L’ON VEUT EVALUER
Différents temps de l’évaluation • En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : • l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; • l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ; • l'évaluation in itinere ou chemin faisant. Clôture et préparation d’une nouvelle politique publique Définition d’une politique publique Mise en œuvre d’une politique publique Ex-ante In-itinere Ex-post
« Observer ou suivre » un territoire? Observatoire de territoire Lieu où on essaie de mesurer l’atteinte d’objectifs Lieu de fourniture de données, d’informations Lieu où on essaie de répondre à des questions Indicateurs quanti et quali Statistiques Données Cartes Etc. Indicateurs quanti et quali Indicateurs de résultat Indicateurs d’impact
Action 3 Action 2 Action 1 Indicateurs de résultats Territoire Tableau de bord / Observatoire Evaluation à différents niveaux à différents temps PLAN D’ACTION Contenu de l’action EVALUATION PAR ACTION Indicateurs spécifiques EVALUATION GLOBALE Indicateurs globaux Indicateurs d’impacts ► Enquêtes D’après RCT A21 St Etienne Métropole
L’outil d’analyse • Le questionnement • Mots clés, Questions, Mots clés et questions • Questionnement simple sans être « simpliste » Un nombre de critères suffisant mais limité Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)
L’outil d’analyse • QQOQCP • Pareto : 80/20
Les chiffres à retenir • Maximum 3 objectifs à suivre • 3 indicateurs par objectifs soit 12 • 1 pilote
Evaluation des Politiques Publiques PARTIE II. MESURER
Qu’estcequ’unindicateur ? • Un chiffre qui « renseigne » sur un phénomène ou son évolution • Un « dispositif d’agrégation optimale de l’information » • Sa fonction est d’attirer l’attention sur un fait ou une tendance importante • En général, il ne suffit pas pour porter un jugement sur la réussite d’une action
Indicateur : Définition • Un indicateur est une formule de calcul • basée sur des données brutes • permettant de quantifier, de mesurer • Une évolution • Une proportion, un rapport • au regard d’une norme (interne / externe). • Il peut être simple, et mesurer un flux, selon un objectif opérationnel • Il peut être composite, et mesurer des résultats et des effets, en fonction d’un objectif stratégique
Place des indicateursdansl’évaluation • Toute évaluation repose sur des chiffres • Les indicateurs occupent un place très variable comme point d’appui des conclusions : • Ils répondent parfois par eux-mêmes aux questions de l’évaluation • En règle générale, ils demandent à être interprétés et complétés par des informations qualitatives