Comment évaluer les projets?

1. Comment évaluer les projets? Valérie Pattyn Institut de la Gestion publique, K.U. Leuven Semaine de la Sécurité intégrale - 27 juin 2011

2. Objectif de la présentation • Qu’entend-on (ou non) par évaluation de la politique? • Pourquoi évaluer et quand? • Anticiper une évaluation de projet: Conditions connexes pour l’évaluabilité • Questions et critères d’évaluation • Théorie politique • Infrastructure de monitoring • Capacité / Culture

3. Evaluat° de la politique – qqs caractéristiques “La détermination de la valeur (‘mérite’) de l’objet de l’évaluation” (M. Scriven) • Evaluation informelle versus formelle. • Processus structuré/systématique – Mise en œuvre de méthodes et techniques: • Question d’évaluation + Critère d’évaluation • Collecte des données • Analyse des données • Evaluation

4. Evaluation de la politique “Politique” = ? • Mesure • Train de mesures • Projet (exemple: Projet s’attaquant au vol de vélos) • Programme

5. Evaluation de la politique: délimitation A l’égard d’autres fonctions appuyant la politique et la gestion (Widmer, 2005)

6. Pourquoi évaluer? • MOTIFS pour évaluer une politique: • Soutenir le planning stratégique • Améliorer la mise en œuvre de la politique et contribuer au développement institutionnel des organisations concernées • Assumer la responsabilité par rapport aux résultats de la politique et aux moyens déployés • Apprentissage politique: la réponse à la question de savoir pourquoi et comment la politique est réussie ou non “The purpose of an evaluation conditions the use that can be expected of it” (Chelimsky, 1997)

7. Quand évaluer? Wanneer evalueren? Projet en vitesse de croisière Fin du projet Tôt dans le projet • Résoudre les "maladies infantiles"  • Identifier à temps les gros problèmes et les éliminer (avant que le projet n’atteigne sa vitesse de croisière) • Examiner et résoudre l’insatisfaction chez les intéressés (surtout le groupe cible) • Vérifier la qualité de la mise en œuvre • Réaliser des améliorations à long terme • Voir dans quelle mesure il est possible de déjà détecter des effets • Examiner quels sont les effets possibles et/ou réalisés du projet Résoudre les problèmes Résoudre les problèmes/assumer la responsabilité/apprendre Assumer la responsabilité/apprendre

8. Anticiper une évaluation de projet Anticiperen op een projectevaluatie Test sur l’évaluabilité: “Evaluability Assessment” • Attention accordée à l’évaluabilité organisationnelle et sur le fond de la question d’évaluation • “Est-il possible (cf. conditions connexes) de suivre et d’évaluer la politique (ex ante / intermédiaire / ex post)?” • = forme particulière d’évaluation ex ante • Lancer l’évaluation? Oui/Non • Portée de l’évaluation?

9. Evaluabilité: conditions connexes Consensus questions d’évaluation / critères d’évaluation? Théorie politique? Indicateurs fiables et valides? Capacité d’évaluation et culture d’évaluation?

10. (1) Consensus questions/critères d’évaluation • Consensus des questions d’évaluation entre les différentes parties prenantes? • Nature des questions (description, prédiction,...)? • Une bonne question d’évaluation ne comprend qu’un seul critère d’évaluation.

11. Critères d’évaluation (traduction des termes NL: voir au bas de cette dia, dans la zone des commentaires)

12. (2) Théorie politique • Explicitation de la théorie politique comme point de départ pour le ‘scopage’ de l’évaluation. • Théorie politique? • Logique du projet • L’ensemble des présomptions que les décideurs suivent en élaborant et en mettant en œuvre une initiative politique concrète • Souvent des raisonnements implicites, non exprimés. “Pourquoi ce projet-ci, en fait? Comment concevons-nous que ce projet-ci en particulier peut générer des résultats dans la société?”

13. (2) Théorie politique • Une description, sur le fond, de l’initiative politique et de la manière dont celle-ci va atteindre des objectifs précis ou générera des effets (“Comment fonctionne la stratégie?”) = “Modèle causal du changement” • Un jugement porté sur ce qui doit être fait pour réaliser ces objectifs (“Que doit-il se passer concrètement?”)  à la fois descriptif et prescriptif (Chen, 2005)

14. Evaluation axée sur la théorie politique • Présomptions descriptives: • Mécanismes causaux à la base d’un problème sociétal • Processus causaux grâce auxquels la politique fonctionne et le changement social visé s’accomplit • Les déterminants: facteurs pertinents sur lesquels la politique doit se focaliser pour produire les effets escomptés • Modèle du changement derrière la politique

15. Théorie politique: Modèle du changement derrière une initiative de projet variable modératrice variable modératrice action politique résultat politique variable intermédiaire déterminant levier effet objectif opérationnel objectif stratégique modèle du changement

16. Théorie politique reconstituée: Exemple Promotion online de la brochure “Vacances sans souci” Diminution des cambriolages pendant la période des vacances Changement d’attitude des citoyens Moins de nonchalance en quittant l’habitation Variables modératrices: Age du citoyen/ Accès à Internet Variable modératrice: bande de voleurs mise sous les verrous

17. (2) Théorie politique • Un raisonnement solide derrière la politique augmente les chances de réussite. • Objet de l’évaluation (“la politique est-elle mûrement réfléchie?”) et • Reconstitution de la théorie politique comme véhicule pour poser les jalons de l’évaluation. • Attention accordée aux déterminants sur lesquels la politique peut agir. • Attention consacrée aux éventuels effets secondaires. • Gestion de la sélection des indicateurs pour le monitoring et techniques adaptées pour la collecte de données.

18. (3) Monitoring et évaluation de la politique • Relation monitoring et évaluation de la politique:  Tandem • Importance d’un système de monitoring adéquat • Fonction des indicateurs = Indications de réalité = Représentation quantitative de la qualité/quantité de l’objet du mesurage = Descriptive, pas explicative!

19. Règles essentielles en établissant les indicateurs • Faites usage de la théorie politique • Cherchez des pratiques de mesurage existantes • Impliquez les parties prenantes • Principe “SMART”: • Spécificité: Indicateur a une relation de 1 sur 1 avec ce qui est mesuré • Mesurable • Acceptable = convenu: consensus les entre parties prenantes • Réaliste: cf. la pertinence • Temporel: inscrit dans le temps (mais stable!) • Analyse coûts-avantages de la collecte de données • Importance du mesurage initial! • Fiabilité et validité

20. Fiabilité Description de l’indicateur (exemple en NL) Nom de l’indicateur Brève définition • Garanties du mesurage en termes d’objectivité et de reproductibilité • Faites une fiche comprenant des méta-infos sur l’indicateur Observations DONNEE Nom Source des données & fournisseur Echelle Fiabilité Coût Comparabilité dans le temps Comparabilité dans l’espace Périodicité Actualisation NUMERATEUR

21. Validité: “Sait-on ce que l’on veut mesurer?” • Pièges lors de l’exploitation des indicateurs On estime à tort que l’indicateur recouvre la totalité de l’objet du mesurage Trop peu d’attention accordée aux aspects plus difficilement mesurables de l’objet du mesurage Réduction: on adapte l’objet du mesurage ou le concept à l’indicateur, au lieu de faire l’inverse

22. Sortes d’indicateurs Cf. Composantes ds schéma cycle de gestion • Input: nombre de patrouilles de police déployées; nbre d’h p/pers.; Nombre de personnes présentes aux sessions d’info “sécurisation des habitations” • Processus: les “temps de mesurement” • Output: nombre de fermetures d’immeubles utilisés par des dealers; PV traités; nombre de demandes de primes de sécurisation anti-intrusion • Effet: diminution de l’abus de drogue dans une partie donnée de la ville; nombre de tentatives de cambriolage échouées • Impact: long terme. Effet durable? Sentiment de sécurité des habitants • Efficacité: input/output • Effectivité: effet/output • Coût-efficacité: effet/input

23. (4) Capacité / Culture d’évaluation • Capacité: • Evaluation interne versus évaluation externe • Coût relatif de l’évaluation en fonction du coût du projet • Culture d’évaluation

24. Plus d’informations? Valérie Pattyn Institut de la Gestion publique valerie.pattyn@soc.kuleuven.be