Région Centre - Juin 2008

1. Cycle de qualification des agents de développement en vue de la préparation de la 3ème génération de contrats territoriaux Module 5 Suivi – Evaluation et démarche d’amélioration continue Région Centre - Juin 2008 Jean-François Henric / Sandrine Maillet

2. Module 5 : Suivi – Evaluation et démarche d’amélioration continue Système de suivi évaluation / démarche d’amélioration continue Qu’est-ce qu’un indicateur ? Comment choisir un indicateur ? Référentiel d’indicateurs DD Méthodes et outils d’analyse matin après- midi Exercices pratiques Questions-réponses Évaluation de la journée et de la formation

3. Système de suivi évaluation et amélioration continue

4. Différents temps de l’évaluation En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : • l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; • l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ; • l'évaluation in itinere ou chemin faisant. Clôture et préparation d’une nouvelle politique publique Définition d’une politique publique Mise en œuvre d’une politique publique Ex-ante In-itinere Ex-post

5. Un CONTRAT Différents « lieux » du suivi-évaluation Partenaires Le territoire Sélectivité Enjeux régionaux, départementaux Analyse doc. Hiérarchisation Transversalité Identification d’enjeux Un diagnostic stratégique validation Entretiens Analyse stat et cartographique Une ambition Réorientations Un PROJET Animations collectives Définition d’un objectif Bilan, évaluation partagé validation Sélection Négociation Engagements réciproques Un PROGRAMME Une CHARTE Evaluation, réorientations Traduction validation Des grandes ambitions opérationnelle une stratégie Sélectivité Des moyens Animation locale Hiérarchisation Une organisation Phasage Négociation Evaluation, réorientations

6. Qu’est-ce qu’un indicateur ? Donnée = occurrence chiffrée d’une variable Ex : population, etc… Indicateur = variable quali ou quanti, permettant seule ou avec d’autres l’appréciation à partir d’une échelle de valeurs normative et/ou comparative d’un phénomène mesurable ou non

7. Qu’est-ce qu’un indicateur ? Un indicateur c’est: • Un outil de description du réel • Un outil de comparaison • Un outil de communication • Un support à la décision

8. Qu’est-ce qu’un indicateur ? 9 caractéristiques pour les indicateurs : • Ils sont utilisés pour traiter d’une question ou d’un phénomène On devrait parler d’indicateur de quelque chose • Ce sont des variables • Ils doivent se situer dans un système de référence Repère, étalonnage, échelles… • Ils sont liés aux notions d’action et d’objectif • Un indicateur est lié à une échelle temporelle d’évolution du phénomène observé

9. 9 caractéristiques pour les indicateurs : 6. Ils visent à donner une représentation la plus proche d’une réalité complexe Réduire l’incertitude 7. La multiplication des indicateurs est nécessaire pour cerner un phénomène complexe Convergence, faisceau de présomption 8. Ils doivent être documentés 9. Ils doivent permettre de communiquer

10. « Observer ou suivre » un territoire? Observatoire de territoire Lieu où on essaie de mesurer l’atteinte d’objectifs Lieu de fourniture de données, d’informations Lieu où on essaie de répondre à des questions Indicateurs quanti et quali Statistiques Données Cartes Etc. Indicateurs quanti et quali Indicateurs de résultat Indicateurs d’impact

11. Action 3 Action 2 Action 1 Indicateurs de résultats Territoire Tableau de bord / Observatoire Evaluation à différents niveaux à différents temps PLAN D’ACTION AGENDA 21 Contenu de l’action EVALUATION PAR ACTION Indicateurs spécifiques EVALUATION GLOBALE Indicateurs globaux Indicateurs d’impacts ► Enquêtes D’après RCT A21 St Etienne Métropole

12. Exemples d’indicateurs • Indicateurs de résultats • Nombre de kilomètre de pistes cyclables • Nombre de points d’apports volontaires / habitant • Consommations énergétiques liées à l’éclairage public • Nombre de nouvelles places d’accueil petite enfance • Indicateurs d’impact • Emissions annuelles de CO2 en tonnes par habitant sur le territoire • Qualité globale des cours d’eau / points de surveillance • Nombre de personnes souffrant de pathologies liées à la qualité de l’air • Proportion de personnes vivant en deçà du seuil de pauvreté

13. Comment choisir les indicateurs? Que veut-on observer ? • Bien circonscrire la question qui se pose • Identifier et décrire les problématiques • Préciser éventuellement les angles de l’analyse

14. Comment choisir les indicateurs? Lister les objets de l’observation • Ex: a-t-on aisément accès aux soins sur un territoire • Objets : les « stocks » (« l’offre ») et les flux (« fréquentation ») • Indicateurs calculés : nombre, diversité, proximité physique, accessibilité horaire…

15. Comment choisir les indicateurs? Décrire les indicateurs • Lister le possible • Justifier le choix (apports à la question posée, lien avec d’autres indicateurs…) • Vérifier l’applicabilité (accessibilité des données, coût…) • Assurer la reproductibilité (sources et données nécessaires, mode de calcul…) • Préciser les modalités d’utilisation (échelles spatiales et temporelles, exploitations possibles, limites et précaution d’utilisation…) • Garantir la lisibilité • Hiérarchiser et partager

16. Quel référentiel pour choisir des indicateurs ? • Indicateurs de développement durable urbain – ARPE • Référentiel d’évaluation et de suivi des politiques environnementales des collectivités territoriales – RESPECT • Benchmarking : évaluation dans le cadre d’agendas 21 : CG Nord Pas de Calais, CG Drôme, CG Essonne, Communauté urbaine de Dunkerque, Communauté urbaine de Lyon, ville d’Echirolles, ville de Marseille, ville de Toulouse, etc… • Etat de l’art actuellement réalisé par le MEEDDAT sur la pratique de l’évaluation des projets territoriaux de développement durable • 45 indicateurs du développement durable, une contribution de l’IFEN (2003)

17. Indicateurs de développement durable urbain - ARPE • 27 indicateurs • Échelle communale • Sur les 4 dimensions du DD + interface • Lisibilité / facilité de recueil de données et de mise à jour • Fiche de description des indicateurs (Définition / Limites d’utilisation / Aide à l’interprétation / Références de l’indicateurs/A21 / Données mises en œuvre / Année / Organismes producteurs / Calcul / Unité / Fiabilité / Fréquence de production minimale …)

18. Exemples d’indicateurs de développement durable urbain - ARPE RESPECT DES EQUILIBRES ECOLOGIQUES • Espaces verts boisements et zones nat. : Offre en espace verts entretenus par habitants • Protection des ressources en eau douce et de leur qualité : • Prix de l'eau : écart au prix moyen national • Qualité de l'eau produite : pourcentage de non-conformité des analyses microbiologiques. • Déchets : Taux de détournement pour valorisation RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENTSOCIAL • Qualité de l'air et bruit • Emission de gaz responsables de la pollution atmosphérique (rejet Nox en kg/ha) • Proportion des déplacements domicile-travail réalisés en transport en commun • Agriculture périurbaine : Proportion des exploitations signataires d'une démarche labellisée • Risques majeurs : Niveau d'exposition aux risques naturels et industriels RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENT SOCIAL • Urbanisation : Indice de consommation d'espace – évolution sur les 5 dernières années

19. Exemples d’indicateurs de développement durable urbain - ARPE DEVELOPPEMENT ECONOMIQUE <> ENVIRONNEMENT • Certification : Part des salariés d'établissements privés certifiés ISO 14001 DEVELOPPEMENT ECONOMIQUE • Diversification de l'activité : nombre d'établissements privés pour 1000 habitants • Emploi : Evolution du nombre d'emplois DEVELOPPEMENT SOCIAL <> ACTION ECONOMIQUE • précarité et exclusion : Part de la population vivant en-deçà du seuil de pauvreté DEVELOPPEMENT SOCIAL • Démographie : Taux d'accroissement de la population • Logement social : Proportion des logements locatifs sociaux • Santé : temps d'accès au services d'urgence minutes • Education,formation : Proportion des 15 ans et plus non-titulaire d'un diplôme qualifiant • Patrimoine, culture, sport et loisirs • Nombre de livres empruntés dans les bibliothèques • Nombre de monuments inscrits et classés

20. Exemples d’indicateurs de développement durable urbain - ARPE DEVELOPPEMENT SOCIAL (suite) • Sécurité des biens et des personnes : Taux de criminalité • Intégration des femmes : Taux de chômage féminin: écart au taux moyen national GOUVERNANCE • Finances et marge de manœuvre : Taux d'imposition: écart à la moyenne nationale • Stratégies de développement durable • signature de la charte d'Aalborg oui/non • Citoyenneté et démocratie • Niveau d’implication des citoyens dans la décision • Taux d'abstention aux élections municipales et régionales

21. Référentiel RESPECT • La méthode RESPECT s’adresse à une collectivité • Qui a une politique environnementale et qui souhaite l’évaluer • Qui n’a pas de politique environnementale mais qui souhaite en définir une • Qui veut suivre ponctuellement des actions environnementales

22. Référentiel RESPECT • de 1997 à 2000, 30 collectivités européennes dont le CR de Poitou-Charetnes, les CG de Côtes d’Armor et Gironde, communautés urbaines de Lille et de Lyon, les villes d’Aix en Provence, d’Arras, de Boulogne-Billancourt, Chalon-sur-Saône, de Douai, de Grenoble, de Marseille, de Niort, d’Orléans, de Toulouse • Validation de la méthode, test et vérification des indicateurs environnementaux et de leur transférabilité • Indicateurs environnementaux sous forme de tableau de bord environnemental (TBE)

23. Méthode Respect Appropriation et adaptation du tableau de bord environnemental Réalisation de l’état des lieux  Fiche indicateur Détermination des objectifs de la collectivité  Fiche évaluation Programmation des actions  Note globale environnementale des indicateurs Evaluation de la politique environnementale  Fiche synthèse thématique Nouvelle programmation des objectifs et desactions de la collectivité

24. Méthode RESPECT (suite) • Appropriation et adaptation du tableau de bord environnemental • Choix des thèmes à suivre par la collectivité • Choix des indicateurs à suivre par la collectivité en fonction des compétences ou des choix de politique environnementale • Ajout d’indicateurs adaptés à la collectivité

25. Indicateurs Respect • Critères (nature de l’indicateur) : • Pression : Indicateur rendant compte des pressions exercées par les activités humaines sur l’environnement • Etat : Indicateur rendant compte de la modification de la qualité ou de la quantité des ressources • Réponse : Indicateur rendant compte de la réponse que la société apporte pour limiter les conséquences de ces pressions sur l’état de l’environnement • Objectifs • Indicateurs

26. Pression / Etat / Réponse ACTEURS PRESSION ETAT IMPACT REPONSES

27. Exemples • Critère : Pression • Objectif : Connaître la consommation pour économiser la ressource en eau • Volume total facturé par an par habitant • Critère : Etat • Objectif : S’assurer de la qualité des cours d’eau pour satisfaire les différents usages • Qualité globale des cours d’eau et des lacs en fonction des points de surveillance et selon les classes de qualité de la directive « eau potable » • Critère : Réponse • Objectif : Limiter la pollution par les rejets d’eaux usées • Rendement global de dépollution du système d’assainissement collectif

28. Méthode RESPECT (suite) • Réalisation de l’état des lieux • Détermination des valeurs initiales des indicateurs(fiche indicateur) • Détermination des objectifs de la collectivité • Elaboration des objectifs opérationnels chiffrés pour chaque indicateur (fiche évaluation) • Programmation des actions • Choisir des indicateurs prioritaires à partir d’une note globale environnementale attribuée à chaque indicateur :  Une fois le tableau de bord rempli et les objectifs opérationnels fixés, choisir des indicateurs sur lesquels il faut agir de manière prioritaire • Choisir les solutions les plus efficaces

29. Choix des indicateurs prioritaires : note globale environnementale prioritaire • Méthode : analyse multicritère et notation multicritère de chaque indicateur • Critères environnementaux (possibilité d’ajouter des critères politiques / sociaux / économiques pour pondérer la proposition) • Chaque critère est noté de 1 à 3 pour un indicateur donné. Le critère peut être noté pour l’ensemble d’un thème (selon le cas) • Multiplier chaque note obtenu par critère pour chaque indicateur • Résultat : • note très forte : indicateur prioritaire / • note très faible : indicateur peu prioritaire

30. Choix des indicateurs prioritaires : note globale environnementale prioritaire Critères environnementaux : • Le milieu auquel correspond le thème est il de mauvaise (3) ou de bonne qualité (1) ? • Le milieu auquel correspond le thème se dégrade-t-il (3) ou s’améliore-t-il (1) ? • La ressource à laquelle correspond le thème s’épuise-t-elle (3) ou est-elle encore très importante (1) ? • L’effet sur la santé humaine est-il jugé important (3) ou faible ou inexistant (1) ? • L’effet plus global sur les autres territoires ou les générations futures de l’évolution négative d’un indicateur est-il jugé important (3) ou faible (1) ? • La valeur réglementaire est-elle atteinte ? Non (3) / Oui (1) Autres critères possibles : • La perception des habitants en fait-il un thème prioritaire (3) ou non (1) ? • Le thème fait-il de partie des priorités politiques fortes (3) ou moins fortes (1) • L’activité de la collectivité lui permet-elle de mettre en place des actions à forte valeur d’exemple (3) ou non (1) ?

31. Méthode RESPECT (suite) • Evaluation de la politique environnementale • Actualisation des indicateurs (selon la période déterminée) • Évaluation de l’indicateur avec une analyse entre les objectifs fixés et les résultats atteints • Evaluation de l’indicateur permettant une analyse globale des indicateurs d’un même thème (fiche synthèse thématique) • Nouvelle programmation des objectifs et des actions de la collectivité

32. Intérêt méthode RESPECT • Batterie d’indicateurs environnementaux adaptés à différents échelons territoriaux • Permet de s’interroger sur l’objectif et l’objectif opérationnel • Permet de s’inscrire dans une véritable démarche d’amélioration continue

33. L’analyse au regard du développement durable

34. Système d’Evaluation Analyse Critères Questionnements OQADD Suivi-Evaluation Quantitative Qualitative Indicateurs Tableau de bord Enquêtes

35. Application des méthodes et outils d’analyse Méthode Territoire Politiques, projets, actions Outils : OAQDD ou grilles d’analyse

36. Intérêt des méthodes et des outils d’analyse • Appropriation du développement durable • Animation de la transversalité • Démarche d’amélioration continue • Aide à la décision en vue d’impacter réellement les projets et permettre l’émergence de solutions alternatives

37. Les OQADD • Terme introduit par A. Boutaud : Outil de Questionnement et d’Analyse en matière de Développement Durable • Méthode d’élaboration et mode d’utilisation des OQADD

38. L’outil d’analyse • Le contenu : le questionnement : • Environnement • Social – culture – santé • Économie (tissu économique, rentabilité, emplois) • Thèmes transverses, champs croisés (transversalité, internalisation, etc..) • Gouvernance (information, concertation, participation) • Principes de développement durable (précaution, long terme, global-local) • Autres (aménagement, urbanisme, transport, autres…)

39. L’outil d’analyse • Le questionnement • Mots clés, Questions, Mots clés et questions • Questionnement simple sans être « simpliste » • Un nombre de critères suffisant mais limité • Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)

40. L’outil d’analyse • Le système de notation • Que note-t-on ? : le niveau d’objectif (ou d’enjeux) ? le niveau de prise en compte du critère ? le niveau d’impact ? La capacité d’amélioration ? • L’amplitude de la notation • L’explicitation de la notation • L’agrégation

41. L’outil d’analyse à vocation pédagogique : un outil convivial et communicant • Explicitation du mode d’utilisation, des termes (livret d’accompagnement) • Rendu graphique • Code couleur • Supports : Plaquette de communication…

42. Graphe type radar Social Équité Approche intégrée = 4 Approche fractionnée = 3 Approche ponctuelle = 2 Déclaration d’intention = 1 Sujet non traité = 0 Participation Économie Gouvernance Viabilité Précaution Environnement

43. Cohésion Sociale Environnement Les schémas de performances Zone d’alerte Développement économique pluriel Gouvernance Profil maximum Profil à 3 ans Profil actuel Source : communauté urbaine de Dunkerque

44. L’OQADD VILLE DE MARSEILLEPrésentation : Présentation d’un critère 1.1 – Diminuer les nuisances et les pollutions Prise en compte du critère Non pris en compte Un peu pris en compte Bien pris en compte Les impacts du projet par rapport au critère Impact négatif Non significatif Impact positif Impact positif fort Le niveau d’amélioration possible (faisable) de prise en compte du critère Nul Insignifiant Moyen Bon NSP Source : ville de Marseille

45. Représentation graphique de l’analyse du projet par la grille 5 6 6 4 5 3 2 4 1 2 1 6 6 3 4 4 6 6 3 3 6 5 5 1 1 2 2 3 3 2 2 5 5 1 1 4 4 3 3 1 1 3 3 4 4 4 4 2 2 1 1 5 5 2 2 5 5 ENVIRONNEMENT PLANIFICATION ENVIRONNEMENT PLANIFICATION CONDITIONS DE VIE LIEN SOCIAL CONDITIONS DE VIE LIEN SOCIAL 5 6 6 4 5 3 2 4 1 2 1 3 6 6 VIABILITE ECONOMIQUE VIABILITE ECONOMIQUE GOUVERNANCE GOUVERNANCE 6 PRINCIPES ET DEMARCHES POUR UNE DURABILITE PRINCIPES ET DEMARCHES POUR UNE DURABILITE Source : ville de Marseille Les impacts Les améliorations Impact positif fort Impact positif Non significatif Impact négatif Bon niveau Moyen Insignifiant Nul

46. Un exemple d’utilisation de la grille au Val d’Orge

47. Mode d’élaboration de l’outil d’analyse • Elaboration participative et transversale : • méthode d’analyse / validation des marges de progrès • d’outils d’analyse • Sensibilisation / formation préalable • Communication /sensibilisation sur la réflexion • Outil évolutif

48. Modalité d’utilisation de l’outil d’analyse • Tester la grille sur quelques projets dans les conditions réelles d’utilisation • Identifier les personnes chargées de l’analyse du projet : des personnes impliquées directement dans le projet et des personnes non impliquées initialement • Travail en amont avec le ou les porteurs du projet • Groupe de travail transversal • Validation • Etude de faisabilité, mise en œuvre

49. Conclusion : les conditions de réussite • Participation • Définir une méthode en amont et la planifier • Préciser les objectifs de l’analyse • Méthode et Outils débattus et appropriés