Groupe de travail SUIVI, EVALUATION ET CAPITALISATION

1. Groupe de travail SUIVI, EVALUATION ET CAPITALISATION Maubourguet, 5 juin 2008

2. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

3. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

4. Rappels méthodologiques Eléments de cadrage sur l’évaluation

5. (Petit Robert) Évaluer est défini par le dictionnaire comme le fait de porter un jugement sur la valeur ou le prix d'une action ou d'une chose. « L'évaluation d'une politique publique consiste à comparer ses résultats aux moyens qu'elle met en œuvre, qu'ils soient juridiques, administratifs ou financiers, et aux objectifs initialement fixés. Elle doit aboutir à un jugement partagé sur l'efficacité de cette politique » (Circulaire du Premier Ministre, JO 12/2/1999). « La finalité de l’évaluation est d’apporter un regard extérieur et de disposer d’outils qui permettent ensuite aux acteurs eux-mêmes d’évaluer leurs propres politiques chemin faisant. » L’évaluation dans les Pays de la Loire, rapport du Comité Régional de l’Évaluation, 1999. « Évaluer un projet, une politique, un objet, c’est porter un jugement sur la façon dont celui-ci est réalisé, pour pouvoir mieux agir. Pour cela, il faut d’abord connaître et si possible mesurer ses effets spécifiques. » Le projet de territoire, élaboration et conduite partagée d’un projet de territoire, École des Territoires, 2001

6. démocratique opérationnelle décisionnelle formative L'évaluation : quatre finalités

7. OBJECTIFS DE L’EVALUATION CHAMPS DE L’EVALUATION -suivi des conditions de mise en application de la LOADDT -comparaisons sur des points clés -analyse des mesures prises pour la mise en œuvre de la loi Territoire national LOADDT - études ponctuelles - remontées sur les champs thématiques -suivi des conditions de mise en application du volet territorial et des priorités régionales -comparaisons sur des points clés -analyse des politiques engagées -questionnement sur chacun des champs d’évaluation posés aux projets de territoire -priorités régionales Volet territorial du CPER Territoire régional -projet de territoire -mobilisation des acteurs, participation des habitants -organisation du territoire -contractualisation -impact du contrat sur le territoire - indicateurs sur priorités locales et régionales -outil de pilotage et de gestion -analyse des résultats des actions engagées -outil pour la mobilisation des partenaires -outil de communication Projet de territoire Contrats d’Agglo, de Pays Territoires vécus Les différents niveaux de l’évaluation

8. La gestion du cycle de projet Programmation Évaluation Identification Suivi Mise en oeuvre Instruction Financement

9. Rappels méthodologiques Construire le projet d’évaluation

10. La construction du projet d’évaluation Source : La lettre du CEDIP

11. Source : La lettre du CEDIP

12. Rappels méthodologiques Les outils du suivi

13. Items les plus courants . Titre de l'action . Objectif(s) poursuivi(s) . Descriptif de l'action / localisation . Résultats attendus / dispositifs et indicateurs . Maître(s) d'ouvrage . Coût prévisionnel / plan de financement Autres items utiles . Contexte avec état des lieux . Calendrier . Méthode de collecte retenue LES FICHES-ACTIONS

14. LE TABLEAU DE BORD Tableau représentatif des actions du Relais Assistances Maternelles de février 1999 à février 2000 Nombre de personnes présentes Communes Animations proposées et réunions d’information Nombre d’appels sur 10 mois Nombre de personnes présentes aux permanences Nombre de permanences Nombre d’enfants de moins de 6 ans Nombre d’assistantes maternelles Nombre d’habitants Adultes Enfants

15. LE TABLEAU DE BORD

16. Exemple : analyse du taux de participation au Comité de programmation d’un GAL LEADER+

17. Comité de pilotage Groupe de travail Réunion de réseau Autre CP1 CP2 CP3 … GT1 GT2 … R1 R2 … … A1 A2 … … Date Tête de liste PDD Membre 1 PDD Membre 2 PDD … Partenaires extérieurs … … Bénéficiaires Participation et implication des membres du PDD, des partenaires extérieurs et des bénéficiaires dans ses différentes instances (comité de pilotage, groupes de travail, réseau, etc.) Utiliser des chiffres (de 0 à 5) pour mesurer la contribution de chaque groupe d’intérêt dans chaque type de travaux

18. LES INDICATEURS de contexte de réalisation de résultats d'impacts

19. Rappels méthodologiques Les critères et outils de l’évaluation

20. ENJEUX OBJECTIFS MOYENS / DISPOSITIF REALISATION / RESULTATS IMPACTS Pertinence Cohérence Efficience Efficacité Utilité 5 CRITERES POUR L'EVALUATION DES POLITIQUES PUBLIQUES

21. LES FICHES EVALUATIONS LES ENQUÊTES LES MATRICES, ARBRES DE COHERENCE LES GRILLES DE NOTATION LE CADRE LOGIQUE

22. Items les plus courants • Mise en place et déroulement de l’opération, • Indicateurs renseignés (attention à conserver ceux fixés au départ), • Écarts entre les objectifs initiaux et les résultats obtenus, • Facteurs de succès et d’échec, • Principaux effets observés (identifier des effets obtenus et non prévus), • Intérêts, difficultés de l’opération, • Perspectives, • Comment envisager sa transposition à d’autres territoires et/ou à d’autres thématiques ? LES FICHES-EVALUATIONS

23. LES ENQUETES

24. LES MATRICES

25. LES ARBRES DE COHERENCE

26. LA GRILLE DE NOTATION / D'EVALUATION

27. Des échelles de notation qualitatives, basées sur un vocabulaire commun Exemple : caractère pilote dans LEADER+

28. Exemple de matrice

29. 5 CRITERES DE QUALITE POUR L'ÉVALUATION L'utilité - pertinence La fiabilité ou démonstration de la causalité L'objectivité La possibilité de généralisation La transparence

30. P A U S E 5 minutes

31. Rappels méthodologiques La capitalisation

32. Capitaliser- Le petit Larousse illustré : figuré : "accumuler en vue d'un profit ultérieur " Capitalisation d'expériences – Mission régionale de l'Information Rhône-Alpes sur l'Exclusion (MRIE) La capitalisation d'expériences est un outil de connaissances qui cherchent à offrir ce qui dans l'expérience peut être utile à d'autres : connaissances à partager, sources d'enseignement. Il reflète ce qui se vit sur le terrain, le point de vue des différents acteurs et partenaires. Manager la capitalisation d'expériences – fmk Consulting C'est permettre à chacun de tirer des enseignements de ses expériences pour progresser sur ses pratiques … Développer des processus de capitalisation d'expériences, c'est se donner pour objectif de repérer et de préserver les connaissances et les meilleures pratiques des collaborateurs pour les rediffuser ensuite à l'ensemble de la structure. C'est également repéré les besoins d'amélioration des processus, procédures et modes opératoire en vigueur dans l'organisation. (référence aux organisations apprenantes et aux exigences qualité de l'ISO 9000)

36. Une règle d’or : la nécessité du choix Il ne s’agit pas de capitaliser sur tout, … . Un choix est nécessaire … il est nécessaire de mettre en place un système de capitalisation = des objectifs de capitalisation + des critères de choix + des acteurs du processus + des modes de diffusion … c’est dans le cadre d’un travail collectif que peut le mieux s’effectuer l’analyse de ces pratiques.

37. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

38. Définition des objectifs de l’évaluation « Objectifs de l’évaluation » = les questions globales que l’on veut se poser et dont les réponses pourront contribuer au pilotage stratégique de l’Agenda 21 • Aujourd’hui dans l’Agenda 21 : • Des indicateurs de réalisations déjà pré-positionnés au niveau des résultats (résultats = objectifs opérationnels internes à chaque mesure) • Des objectifs spécifiques identifiés pour chaque mesure L’objectif de nos échanges = Pour chaque mesure, comment mesurer l’atteinte des objectifs ? Quels indicateurs ? Qui fournit l’information ? Un travail qui sera poursuivi lors de la seconde réunion

39. Axe B : Pour un territoire dynamique Mesure B1 : Les services, facteurs de cohésion du Pays • Objectifs spécifiques dans l’Agenda 21 : • l’affirmation d’une stratégie en matière de services au public à l’échelle du Pays • l’apport de réponses aux problématiques de mobilité et de santé au travers d’actions innovantes (type Convention avec la Poste) • l’assurance d’un accès égal pour tous et en tout point du territoire aux services au public Définition des objectifs de l’évaluation • 3 résultats opérationnels : • B.1.1. : Les conditions de l’égalité dans l’accès aux services ont progressé • B.1.2. : Le maillage de services d’accueil enfance et jeunesse du Pays est complétée • B.1.3. : L’offre de santé de proximité et d’accueil des personnes âgées et handicapées est améliorée

40. Axe B : Pour un territoire dynamique Mesure B2 : Un développement économique durable • Objectifs spécifiques dans l’Agenda 21 : • l’amélioration de la qualité des emplois et de la qualification des salariés par une meilleure accessibilité et coordination des services de l’emploi et de la formation • la qualité d’accueil en faveur des entreprises • la pérennité des filières vitivinicoles par le développement d’actions collectives diversifiées • le développement d’une agriculture de qualité et de proximité Définition des objectifs de l’évaluation • 4 résultats opérationnels : • B.2.1. : L’accessibilité des services de l’emploi et de la formation est facilitée • B.2.2. : Les conditions d’accueil d’entreprises nouvelles et de développement d’entreprises locales sont améliorées du point de vue durable • B.2.3. : Le secteur vitivinicole a mis en place une ou des organisations collectives pour des actions de promotion, d’accueil, de tourisme vitivinicole, etc. • B.2.4. : Le milieu agricole à travers l’évolution de ses pratiques et l’instauration d’un dialogue avec les autres acteurs a mis en place les conditions de sa mutation

41. Axe B : Pour un territoire dynamique Mesure B3 : Culture, tourisme, patrimoine, facteurs de développement et d’identité du territoire • Objectifs spécifiques dans l’Agenda 21 : • L’accessibilité de l’activité culturelle pour tous et en tous lieux du territoire • L’implication des collectivités en faveur de la culture • Une offre touristique identitaire, dynamique et pérenne Définition des objectifs de l’évaluation • 3 résultats opérationnels : • B.3.1. : Une dynamique culturelle diversifiée et accessible à tous est pérenne sur le territoire • B.3.2. : Les acteurs du tourisme du Pays sont en réseau et ont mis en place une charte commune d’accueil de qualité pour un tourisme durable et équitable • B.3.3. : Des produits touristiques associant vin, gastronomie, culture et patrimoine sont valorisés et développés

42. Axe A : Pour un territoire dynamique Mesure A1 : L’eau au cœur des enjeux du Val d’Adour • Objectifs spécifiques dans l’Agenda 21 : • La disponibilité tant quantitative que qualitative de la ressource « eau » • Le maintien de la diversité des paysages et de la qualité des milieux remarquables liés à la présence de l’eau • L’appropriation de l’Adour comme élément structurant de l’identité du Pays Définition des objectifs de l’évaluation • 4 résultats opérationnels : • A.1.1. : La gestion durables des cours d’eau est assurée en conformité avec le plan d’action du SAGE • A.1.2. : Natura 2000 est mis en place (DOCOB validé) sur la traversée de l’Adour, les animations et les investissements prévus sur la période ont démarré • A.1.3. : Les usagers de l’eau (agriculteurs, collectivités, entreprises, habitants) sont largement sensibilisés et mobilisés à la gestion quantitative et qualitative de l’eau • A.1.4. : L’eau et les milieux aquatiques sont accessibles aux habitants du Pays et aux touristes

43. Axe A : Pour un territoire dynamique Mesure A2 : L’exemplarité énergétique et la qualité environnementale • Objectifs spécifiques dans l’Agenda 21 : • L’évolution des pratiques en matière de lutte contre le changement climatique (efficacité énergétique, adaptation…) • Le développement des énergies renouvelables Définition des objectifs de l’évaluation • 3 résultats opérationnels : • A.2.1. : Les outils pour une large diffusion et appropriation des principes de lutte contre le changement climatique sont en place et opérationnels • A.2.2. : Tous les aménagements et les bâtiments publics construits ou réhabilités sont exemplaires en matière énergétique et environnementale • A.2.3. : Les productions locales d’énergies renouvelables (solaires, bois, géothermie, méthanisation…) sont développées

44. Axe A : Pour un territoire dynamique Mesure A3 : L’occupation maîtrisée de l’espace et la gestion des déchets • Objectifs spécifiques dans l’Agenda 21 : • La maîtrise de la gestion de l’espace et de l’urbanisation • L’offre de logement et un habitat sain et durable pour tous • Les capacités du territoire dans la maîtrise locale de ses déchets Définition des objectifs de l’évaluation • 3 résultats opérationnels : • A.3.1. : Les conditions de maîtrise et d’orientation de la gestion de l’espace se sont considérablement améliorées (75% des communes et/ou intercommunalités couvertes par un document d’urbanisme) • A.3.2. : Le Pays dispose d’une offre améliorée de logements durables locatifs et à l’accession pour tous les types de publics • A.3.3. : Les conditions nécessaires à la maîtrise locale des déchets sont réunies

45. Axe C : Pour un territoire solidaire Mesure C1 : Une organisation pour mieux travailler ensemble et assurer la reconnaissance du rôle et des compétences de chacun • Objectifs spécifiques dans l’Agenda 21 : • L’optimisation de l’articulation de l’action publique (Pays / EPCI, Pays / partenaires techniques et institutionnels) tant dans la mise en œuvre des politiques que dans la reconnaissance du rôle de chacun • Le maintien d’une participation active et de qualité des acteurs privés pour une « bonne gouvernance » locale Définition des objectifs de l’évaluation • 4 résultats opérationnels : • C.1.1. : Toutes les communautés de communes sont dotées des compétences nécessaires à la mise en œuvre des chartes et projets de pays • C.1.2. : Le rôle et les compétences des acteurs du Pays sont clairement identifiés par tous (élus, techniciens et Conseil de développement) et le réseau technique est conforté • C.1.3. : Le Conseil de développement élargi et remobilisé travaille en étroite collaboration avec les instances du Pays • C.1.4. : Le partenariat extérieur est développé et renforcé avec les acteurs et les services institutionnels

46. Axe C : Pour un territoire solidaire Mesure C2 : Une organisation pour mieux travailler ensemble et assurer la reconnaissance du rôle et des compétences de chacun • Objectifs spécifiques dans l’Agenda 21 : • Une pratique continue de suivi et d’évaluation des politiques territoriales et de l’organisation locale opérationnelles et appropriée par les membres des différentes instances • Une fonction de capitalisation facteur de reconnaissance du Pays et à la base d’une culture commune du développement local durable • Une stratégie de mise en réseau et de coopération au service du projet de territoire, partagée et diffusée auprès des acteurs locaux • Une connaissance et compréhension de l’organisation du Pays et des politiques qui y sont menées élargie Définition des objectifs de l’évaluation • 4 résultats opérationnels : • C.2.1. : Le dispositif de suivi et d’évaluation partenarial a été mis en place et a été opérant tout au long de la période • C.2.2. : Les « bonnes pratiques » identifiées sur le territoire du Pays sont formalisées et promues auprès des acteurs locaux et lors d’événements publics • C.2.3. : La coopération et la participation du Pays aux réseaux de territoires ruraux locaux, régionaux, nationaux, européens ont été consolidés • C.2.4. : Un plan de communication partenarial a été élaboré et mis en œuvre, se traduisant par une bonne connaissance du Pays et de ses activités par les habitants

47. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

48. Suivi de l'évolution dont indicateurs DD des Régions et des Départements Le niveau du contexte Le niveau de l’Agenda 21 comme projet de territoire Evaluation des objectifs et résultats Un dispositif à trois étages Cf. diapo suivante Eléments de suivi et/ou d'évaluation conventionnés avec les M.O des actions Le niveau des actions / projets

49. Logique d’intervention = finalités du développement durable Objectifs globaux Objectifs de haut niveau auxquels le projet contribue Objectif spécifique Objectif central du projet contribuant à l’atteinte des objectifs globaux = mesures de l’Agenda 21 Résultats = lignes opérationnelles de l’Agenda 21 Produits des activités entreprises Tâches exécutées comme partie intégrante du projet pour produire les résultats Activités Moyens Moyens physiques et non physiques nécessaires pour entreprendre les activités

50. Rendez-vous le… … 30 juin à 9h30 Bonne soirée !