Les enjeux de l’évaluation des politiques publiques

1. Les enjeux de l’évaluation des politiques publiques B. Van Haeperen FSE, le 2 décembre 2009

2. Plan de l’exposé • Présentation de l’IWEPS • Emergence de l’évaluation • Une pratique spécifique • Les enjeux de l’évaluation • Quelques difficultés de l’évaluation • Choix des critères d’évaluation • Outils et méthodes : exemple tiré de l’évaluation du Plan Marshall

3. Présentation de l’IWEPS (1) Création • Décret du Gouvernement wallon du 4 décembre 2003 • L’IWEPS est un OIP de type A • Au départ du Service des Etudes et de la Statistique (SES), créé en février 1991, attaché à l’époque au secrétariat général du Ministère de la Région wallonne Missions • Mission générale d’aide à la décision, exercée à la fois par • une mission scientifique transversale • une mission de conseil stratégique

4. Présentation de l’IWEPS (2) Mission scientifique transversale • la centralisation, la publication et le traitement des statistiques régionales • l’élaboration de plans pluriannuels de développement de statistiques régionales, et la formulation de propositions en la matière • la réalisation de recherches fondamentales et appliquées, principalement dans les champs couverts par les sciences économiques, sociales, politiques et de l’environnement Mission de conseil stratégique • la réalisation d’exercices d’évaluation, confiés par le Gouvernement dans les matières qui relèvent de sa compétence • la réalisation d’études prospectives.

5. Cadre déontologique de l’IWEPS (1) Le statut et les missions de l’IWEPS imposent le respect de critères propres aux • organismes d’intérêt public • organismes scientifiques • organismes d’évaluation

6. Cadre déontologique de l’IWEPS (2) • Primauté de l’intérêt public: rendre compte au Gouvernement et au Parlement, CWEPS • Efficience: utilisation optimale des ressources publiques • Ouverture à tous: service à tous les utilisateurs, du Gouvernement au citoyen • Rigueur scientifique: justification du choix des méthodes, résultats vérifiables, respect de la confidentialité des données • Pertinence: amélioration des connaissances • Intégrité: méthodes objectives et transparentes • Indépendance dans sa mission de conseil stratégique : garantie par la mise en place d’instances d’accompagnement • Utilité : les évaluations visent à améliorer l’exécution des politique, à aboutir à des conclusions opérationnelles.

7. Emergence de l’évaluation (1) • Pratique systématique dans les pays anglo-saxon depuis 1960-1970 (USA, Canada, UK, Australie) • Tradition positiviste - souci de légitimer les politiques publiques à partir de leurs résultats (évaluation scientifique) • Volonté des Directions du budget de se doter d’outils performants d’allocation des moyens

8. Emergence de l’évaluation (2) Développement plus récent en France, Belgique (1980 -) • France: institutionnalisation progressive de l’évaluation • en 1989, mise en place d’un Conseil scientifique de l’évaluation • vote en 2001 de la LOLF (Loi Organique relative aux Lois de Finances) – administration par programmes (projets appellent évaluation: justification des actions par les effets qu’elles produisent sur la société, les citoyens, l’économie)

9. Emergence de l’évaluation (3) • Belgique, 2000 : nombre d’acteurs publics et scientifiques regrettent « l’absence d’une évaluation un tant soit peu systématique, méthodique et rigoureuse des politiques menées »(éditorial du N° de printemps de la revue Pyramides) • Wallonie, 2000 : volonté de développer et d’institutionnaliser les pratiques évaluatives • L’évaluation devient un des principes de l’action gouvernementale : inscrite dans le Contrat d’avenir (1999), le Plan Marshall (2005) et le Marshall 2.vert (2009) • Constitution de la SWEP (2000) • Création de l’IWEPS (Décembre 2003) • Wallonie:

10. L’évaluation: une pratique spécifique (1) • La démarche d’évaluation est une mesure et une explication • la question qui se pose est celle du changement produit par la politique (ou les mesures évaluées) : quels facteurs ont produit quels effets? • l’évaluation d’une politique publique consiste à mesurer les effets propres de cette politique et, en fonction de critères bien définis, à porter un jugement de valeur sur ces effets, qu’ils soient voulus ou non, directs ou indirects, induits à court ou à long terme (F. Varone). • L’évaluation s’appuie sur un référentiel théorique de l’action publique • vise à mettre en évidence une relation causale entre les mesures mises en œuvre et les changements observés dans le comportement des bénéficiaires

11. L’évaluation: une pratique spécifique (2) La démarche d’évaluation se distingue : • du contrôle de gestion – régularité des procédures mises en œuvre • Ministère des finances – veille sur les budgets • Cour des comptes: contrôle a posteriori du bon usage des deniers publics et des principes d’économie, d’efficacité et d’efficience (loi du 10 mars 1998) • Parlement : contrôle et conseil pour la conduite des politiques • du suivi des politiques • rend compte, étape par étape, du processus administratif de mise en œuvre de la politique • rend compte de l’effectivité des mesures - suivi des réalisations.

12. Les enjeux de l’évaluation (1) • L’évaluation est un élément d’une meilleure gouvernance des politiques publiques • Principales utilisations: • accroître les connaissances • nourrir le débat politique • résoudre des problèmes • décider

13. Les enjeux de l’évaluation (2) 1. Accroître les connaissances • accroître les informations disponibles sur une action/une politique • construire une représentation globale et aussi indépendante que possible de l’action publique • démarche empruntant sa méthode aux sciences sociales 2. Nourrir le débat politique • L’expertise externe apporte des arguments raisonnés dans les débats démocratiques • permet de qualifier positivement ou négativement les actions publiques • la communication des résultats des évaluations permet • de rendre compte aux citoyens • et éventuellement de les faire participer à un débat social ouvert et transparent sur les choix de politiques publiques

14. Les enjeux de l’évaluation (3) 3. Résoudre des problèmes et décider  • l’évaluation a une dimension pratique: • outil au service d’une plus grande performance : amélioration de la mise en œuvre et de l’efficacité des politiques • contribution à un besoin d’éclairage de la décision publique  : Faut-il poursuivre l’action ? L’interrompre ? La réorienter ? L’étendre ? »

15. Quelques difficultés 1. La mission • Produire des analyses • rigoureuses et approfondies • intégrées dans un processus de décision • Ceci implique • Comprendre la demande du commanditaire • clarification des objectifs de l’évaluation • traduction en démarche évaluative (plus difficile dans le cas d’un programme que d’un dispositif particulier) • choix consensuel des critères d’évaluation • Ajuster le calendrier de l’évaluation sur le calendrier politique • Identifier les parties prenantes et les intégrer au bon moment dans le processus

16. Quelques difficultés 2. Les mesures • Evaluation d’un programme • Les mesures ont un caractère hétérogène et se situent à des niveaux d’objectifs différents (viser la mise en place d’une politique ou l’exécution d’une mesure opérationnelle) • Certaines mesures sont une amplification de mesures existantes, d’autres sont nouvelles • Les publics-cibles sont diversifiés : entreprises, individus ou indirectement les entreprises à travers les individus (comme pour les formations) • Les mesures ont une temporalité propre

17. Quelques difficultés 3. Les objectifs du programme • Absence de hiérarchisation des objectifs • Absence de quantification ou de clarté des objectifs. • Evolution des objectifs au cours du temps (en fonction de la prise en compte notamment d’informations sur les réalisations des mesures) • Horizon temporel des objectifs fixés est variable

18. Quelques difficultés4. Les informations • Systèmes d’information peu adaptés pour une démarche d’évaluation • Données administratives utiles pour le suivi des dossiers administratifs, le suivi d’une politique, le bilan périodique d’une politique • Données souvent éclatées et peu harmonisées – agrégation difficile

19. Choix des critères d’évaluation • Les critères d’évaluation doivent être adaptés • au moment de l’évaluation : ex ante, in itinere, ex post • à l’état d’avancement des mesures (programme vs dispositif) • aux informations disponibles • aux ressources disponibles dans le temps imparti 

20. Méthode et outilsexemple: évaluation du Plan Marshall • Reconstitution de la logique d’intervention • Evaluation des résultats de l’évaluation sur les bénéficiaire directs et indirects : comment ceux-ci ont-ils modifié leur comportement? Quels changements peut-on observer? • Complémentarité des sources d’informations: • Sources documentaires • Bases de données administratives • Enquêtes et entretiens • Complémentarité des types d’information: • Informations qualitatives : entretiens semi directifs en face à face • Informations quantitatives – enquêtes téléphoniques, données administratives • Au total, près de 1000 enquêtes téléphoniques (entreprises et individus) et 300 entretiens en face à face (opérateurs du plan, personnes ressources)

21. Résultatsexemple: évaluation du Plan Marshall • Question • Les formations qualifiantes améliorent-elles les chances d’insertion professionnelle? • Méthode • Comparaison groupe de bénéficiaires et groupe témoin (échantillon aléatoire de 219 bénéficiaires et 155 non bénéficiaires). • Entretiens téléphoniques • Questions portant sur les parcours, la motivation …

22. Résultatsexemple: évaluation du Plan Marshall • Résultats • Par rapport au groupe témoin, augmentation du taux d’insertion des bénéficiaires de formation (64% contre 41 % pour le groupe témoin) • L’effet net est variable selon la catégorie de bénéficiaires • MAIS • Bénéficiaires de formation sont plus diplômes en moyenne que les non bénéficiaires • Emplois trouvés après formation sont emplois temporaires (66% des cas) • Pas de différence entre groupe témoin et bénéficiaires pour le statut au moment de l’enquête • Peu de correspondance entre formation et métier obtenu (correspondance forte dans 53% des cas)