1 / 50

Groupe de travail SUIVI, EVALUATION ET CAPITALISATION

Groupe de travail SUIVI, EVALUATION ET CAPITALISATION. Maubourguet, 5 juin 2008. Ordre du jour. Rappels méthodologiques. Définition des objectifs de l’évaluation. Le cadre de construction du système de suivi-évaluation. Ordre du jour. Rappels méthodologiques.

dea
Download Presentation

Groupe de travail SUIVI, EVALUATION ET CAPITALISATION

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Groupe de travail SUIVI, EVALUATION ET CAPITALISATION Maubourguet, 5 juin 2008

  2. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

  3. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

  4. Rappels méthodologiques Eléments de cadrage sur l’évaluation

  5. (Petit Robert) Évaluer est défini par le dictionnaire comme le fait de porter un jugement sur la valeur ou le prix d'une action ou d'une chose. « L'évaluation d'une politique publique consiste à comparer ses résultats aux moyens qu'elle met en œuvre, qu'ils soient juridiques, administratifs ou financiers, et aux objectifs initialement fixés. Elle doit aboutir à un jugement partagé sur l'efficacité de cette politique » (Circulaire du Premier Ministre, JO 12/2/1999). « La finalité de l’évaluation est d’apporter un regard extérieur et de disposer d’outils qui permettent ensuite aux acteurs eux-mêmes d’évaluer leurs propres politiques chemin faisant. » L’évaluation dans les Pays de la Loire, rapport du Comité Régional de l’Évaluation, 1999. « Évaluer un projet, une politique, un objet, c’est porter un jugement sur la façon dont celui-ci est réalisé, pour pouvoir mieux agir. Pour cela, il faut d’abord connaître et si possible mesurer ses effets spécifiques. » Le projet de territoire, élaboration et conduite partagée d’un projet de territoire, École des Territoires, 2001

  6. démocratique opérationnelle décisionnelle formative L'évaluation : quatre finalités

  7. OBJECTIFS DE L’EVALUATION CHAMPS DE L’EVALUATION -suivi des conditions de mise en application de la LOADDT -comparaisons sur des points clés -analyse des mesures prises pour la mise en œuvre de la loi Territoire national LOADDT - études ponctuelles - remontées sur les champs thématiques -suivi des conditions de mise en application du volet territorial et des priorités régionales -comparaisons sur des points clés -analyse des politiques engagées -questionnement sur chacun des champs d’évaluation posés aux projets de territoire -priorités régionales Volet territorial du CPER Territoire régional -projet de territoire -mobilisation des acteurs, participation des habitants -organisation du territoire -contractualisation -impact du contrat sur le territoire - indicateurs sur priorités locales et régionales -outil de pilotage et de gestion -analyse des résultats des actions engagées -outil pour la mobilisation des partenaires -outil de communication Projet de territoire Contrats d’Agglo, de Pays Territoires vécus Les différents niveaux de l’évaluation

  8. La gestion du cycle de projet Programmation Évaluation Identification Suivi Mise en oeuvre Instruction Financement

  9. Rappels méthodologiques Construire le projet d’évaluation

  10. La construction du projet d’évaluation Source : La lettre du CEDIP

  11. Source : La lettre du CEDIP

  12. Rappels méthodologiques Les outils du suivi

  13. Items les plus courants . Titre de l'action . Objectif(s) poursuivi(s) . Descriptif de l'action / localisation . Résultats attendus / dispositifs et indicateurs . Maître(s) d'ouvrage . Coût prévisionnel / plan de financement Autres items utiles . Contexte avec état des lieux . Calendrier . Méthode de collecte retenue LES FICHES-ACTIONS

  14. LE TABLEAU DE BORD Tableau représentatif des actions du Relais Assistances Maternelles de février 1999 à février 2000 Nombre de personnes présentes Communes Animations proposées et réunions d’information Nombre d’appels sur 10 mois Nombre de personnes présentes aux permanences Nombre de permanences Nombre d’enfants de moins de 6 ans Nombre d’assistantes maternelles Nombre d’habitants Adultes Enfants

  15. LE TABLEAU DE BORD

  16. Exemple : analyse du taux de participation au Comité de programmation d’un GAL LEADER+

  17. Comité de pilotage Groupe de travail Réunion de réseau Autre CP1 CP2 CP3 … GT1 GT2 … R1 R2 … … A1 A2 … … Date Tête de liste PDD Membre 1 PDD Membre 2 PDD … Partenaires extérieurs … … Bénéficiaires Participation et implication des membres du PDD, des partenaires extérieurs et des bénéficiaires dans ses différentes instances (comité de pilotage, groupes de travail, réseau, etc.) Utiliser des chiffres (de 0 à 5) pour mesurer la contribution de chaque groupe d’intérêt dans chaque type de travaux

  18. LES INDICATEURS de contexte de réalisation de résultats d'impacts

  19. Rappels méthodologiques Les critères et outils de l’évaluation

  20. ENJEUX OBJECTIFS MOYENS / DISPOSITIF REALISATION / RESULTATS IMPACTS Pertinence Cohérence Efficience Efficacité Utilité 5 CRITERES POUR L'EVALUATION DES POLITIQUES PUBLIQUES

  21. LES FICHES EVALUATIONS LES ENQUÊTES LES MATRICES, ARBRES DE COHERENCE LES GRILLES DE NOTATION LE CADRE LOGIQUE

  22. Items les plus courants • Mise en place et déroulement de l’opération, • Indicateurs renseignés (attention à conserver ceux fixés au départ), • Écarts entre les objectifs initiaux et les résultats obtenus, • Facteurs de succès et d’échec, • Principaux effets observés (identifier des effets obtenus et non prévus), • Intérêts, difficultés de l’opération, • Perspectives, • Comment envisager sa transposition à d’autres territoires et/ou à d’autres thématiques ? LES FICHES-EVALUATIONS

  23. LES ENQUETES

  24. LES MATRICES

  25. LES ARBRES DE COHERENCE

  26. LA GRILLE DE NOTATION / D'EVALUATION

  27. Des échelles de notation qualitatives, basées sur un vocabulaire commun Exemple : caractère pilote dans LEADER+

  28. Exemple de matrice

  29. 5 CRITERES DE QUALITE POUR L'ÉVALUATION L'utilité - pertinence La fiabilité ou démonstration de la causalité L'objectivité La possibilité de généralisation La transparence

  30. P A U S E 5 minutes

  31. Rappels méthodologiques La capitalisation

  32. Capitaliser- Le petit Larousse illustré : figuré : "accumuler en vue d'un profit ultérieur " Capitalisation d'expériences – Mission régionale de l'Information Rhône-Alpes sur l'Exclusion (MRIE) La capitalisation d'expériences est un outil de connaissances qui cherchent à offrir ce qui dans l'expérience peut être utile à d'autres : connaissances à partager, sources d'enseignement. Il reflète ce qui se vit sur le terrain, le point de vue des différents acteurs et partenaires. Manager la capitalisation d'expériences – fmk Consulting C'est permettre à chacun de tirer des enseignements de ses expériences pour progresser sur ses pratiques … Développer des processus de capitalisation d'expériences, c'est se donner pour objectif de repérer et de préserver les connaissances et les meilleures pratiques des collaborateurs pour les rediffuser ensuite à l'ensemble de la structure. C'est également repéré les besoins d'amélioration des processus, procédures et modes opératoire en vigueur dans l'organisation. (référence aux organisations apprenantes et aux exigences qualité de l'ISO 9000)

  33. Une règle d’or : la nécessité du choix Il ne s’agit pas de capitaliser sur tout, … . Un choix est nécessaire … il est nécessaire de mettre en place un système de capitalisation = des objectifs de capitalisation + des critères de choix + des acteurs du processus + des modes de diffusion … c’est dans le cadre d’un travail collectif que peut le mieux s’effectuer l’analyse de ces pratiques.

  34. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

  35. Définition des objectifs de l’évaluation « Objectifs de l’évaluation » = les questions globales que l’on veut se poser et dont les réponses pourront contribuer au pilotage stratégique de l’Agenda 21 • Aujourd’hui dans l’Agenda 21 : • Des indicateurs de réalisations déjà pré-positionnés au niveau des résultats (résultats = objectifs opérationnels internes à chaque mesure) • Des objectifs spécifiques identifiés pour chaque mesure L’objectif de nos échanges = Pour chaque mesure, comment mesurer l’atteinte des objectifs ? Quels indicateurs ? Qui fournit l’information ? Un travail qui sera poursuivi lors de la seconde réunion

  36. Axe B : Pour un territoire dynamique Mesure B1 : Les services, facteurs de cohésion du Pays • Objectifs spécifiques dans l’Agenda 21 : • l’affirmation d’une stratégie en matière de services au public à l’échelle du Pays • l’apport de réponses aux problématiques de mobilité et de santé au travers d’actions innovantes (type Convention avec la Poste) • l’assurance d’un accès égal pour tous et en tout point du territoire aux services au public Définition des objectifs de l’évaluation • 3 résultats opérationnels : • B.1.1. : Les conditions de l’égalité dans l’accès aux services ont progressé • B.1.2. : Le maillage de services d’accueil enfance et jeunesse du Pays est complétée • B.1.3. : L’offre de santé de proximité et d’accueil des personnes âgées et handicapées est améliorée

  37. Axe B : Pour un territoire dynamique Mesure B2 : Un développement économique durable • Objectifs spécifiques dans l’Agenda 21 : • l’amélioration de la qualité des emplois et de la qualification des salariés par une meilleure accessibilité et coordination des services de l’emploi et de la formation • la qualité d’accueil en faveur des entreprises • la pérennité des filières vitivinicoles par le développement d’actions collectives diversifiées • le développement d’une agriculture de qualité et de proximité Définition des objectifs de l’évaluation • 4 résultats opérationnels : • B.2.1. : L’accessibilité des services de l’emploi et de la formation est facilitée • B.2.2. : Les conditions d’accueil d’entreprises nouvelles et de développement d’entreprises locales sont améliorées du point de vue durable • B.2.3. : Le secteur vitivinicole a mis en place une ou des organisations collectives pour des actions de promotion, d’accueil, de tourisme vitivinicole, etc. • B.2.4. : Le milieu agricole à travers l’évolution de ses pratiques et l’instauration d’un dialogue avec les autres acteurs a mis en place les conditions de sa mutation

  38. Axe B : Pour un territoire dynamique Mesure B3 : Culture, tourisme, patrimoine, facteurs de développement et d’identité du territoire • Objectifs spécifiques dans l’Agenda 21 : • L’accessibilité de l’activité culturelle pour tous et en tous lieux du territoire • L’implication des collectivités en faveur de la culture • Une offre touristique identitaire, dynamique et pérenne Définition des objectifs de l’évaluation • 3 résultats opérationnels : • B.3.1. : Une dynamique culturelle diversifiée et accessible à tous est pérenne sur le territoire • B.3.2. : Les acteurs du tourisme du Pays sont en réseau et ont mis en place une charte commune d’accueil de qualité pour un tourisme durable et équitable • B.3.3. : Des produits touristiques associant vin, gastronomie, culture et patrimoine sont valorisés et développés

  39. Axe A : Pour un territoire dynamique Mesure A1 : L’eau au cœur des enjeux du Val d’Adour • Objectifs spécifiques dans l’Agenda 21 : • La disponibilité tant quantitative que qualitative de la ressource « eau » • Le maintien de la diversité des paysages et de la qualité des milieux remarquables liés à la présence de l’eau • L’appropriation de l’Adour comme élément structurant de l’identité du Pays Définition des objectifs de l’évaluation • 4 résultats opérationnels : • A.1.1. : La gestion durables des cours d’eau est assurée en conformité avec le plan d’action du SAGE • A.1.2. : Natura 2000 est mis en place (DOCOB validé) sur la traversée de l’Adour, les animations et les investissements prévus sur la période ont démarré • A.1.3. : Les usagers de l’eau (agriculteurs, collectivités, entreprises, habitants) sont largement sensibilisés et mobilisés à la gestion quantitative et qualitative de l’eau • A.1.4. : L’eau et les milieux aquatiques sont accessibles aux habitants du Pays et aux touristes

  40. Axe A : Pour un territoire dynamique Mesure A2 : L’exemplarité énergétique et la qualité environnementale • Objectifs spécifiques dans l’Agenda 21 : • L’évolution des pratiques en matière de lutte contre le changement climatique (efficacité énergétique, adaptation…) • Le développement des énergies renouvelables Définition des objectifs de l’évaluation • 3 résultats opérationnels : • A.2.1. : Les outils pour une large diffusion et appropriation des principes de lutte contre le changement climatique sont en place et opérationnels • A.2.2. : Tous les aménagements et les bâtiments publics construits ou réhabilités sont exemplaires en matière énergétique et environnementale • A.2.3. : Les productions locales d’énergies renouvelables (solaires, bois, géothermie, méthanisation…) sont développées

  41. Axe A : Pour un territoire dynamique Mesure A3 : L’occupation maîtrisée de l’espace et la gestion des déchets • Objectifs spécifiques dans l’Agenda 21 : • La maîtrise de la gestion de l’espace et de l’urbanisation • L’offre de logement et un habitat sain et durable pour tous • Les capacités du territoire dans la maîtrise locale de ses déchets Définition des objectifs de l’évaluation • 3 résultats opérationnels : • A.3.1. : Les conditions de maîtrise et d’orientation de la gestion de l’espace se sont considérablement améliorées (75% des communes et/ou intercommunalités couvertes par un document d’urbanisme) • A.3.2. : Le Pays dispose d’une offre améliorée de logements durables locatifs et à l’accession pour tous les types de publics • A.3.3. : Les conditions nécessaires à la maîtrise locale des déchets sont réunies

  42. Axe C : Pour un territoire solidaire Mesure C1 : Une organisation pour mieux travailler ensemble et assurer la reconnaissance du rôle et des compétences de chacun • Objectifs spécifiques dans l’Agenda 21 : • L’optimisation de l’articulation de l’action publique (Pays / EPCI, Pays / partenaires techniques et institutionnels) tant dans la mise en œuvre des politiques que dans la reconnaissance du rôle de chacun • Le maintien d’une participation active et de qualité des acteurs privés pour une « bonne gouvernance » locale Définition des objectifs de l’évaluation • 4 résultats opérationnels : • C.1.1. : Toutes les communautés de communes sont dotées des compétences nécessaires à la mise en œuvre des chartes et projets de pays • C.1.2. : Le rôle et les compétences des acteurs du Pays sont clairement identifiés par tous (élus, techniciens et Conseil de développement) et le réseau technique est conforté • C.1.3. : Le Conseil de développement élargi et remobilisé travaille en étroite collaboration avec les instances du Pays • C.1.4. : Le partenariat extérieur est développé et renforcé avec les acteurs et les services institutionnels

  43. Axe C : Pour un territoire solidaire Mesure C2 : Une organisation pour mieux travailler ensemble et assurer la reconnaissance du rôle et des compétences de chacun • Objectifs spécifiques dans l’Agenda 21 : • Une pratique continue de suivi et d’évaluation des politiques territoriales et de l’organisation locale opérationnelles et appropriée par les membres des différentes instances • Une fonction de capitalisation facteur de reconnaissance du Pays et à la base d’une culture commune du développement local durable • Une stratégie de mise en réseau et de coopération au service du projet de territoire, partagée et diffusée auprès des acteurs locaux • Une connaissance et compréhension de l’organisation du Pays et des politiques qui y sont menées élargie Définition des objectifs de l’évaluation • 4 résultats opérationnels : • C.2.1. : Le dispositif de suivi et d’évaluation partenarial a été mis en place et a été opérant tout au long de la période • C.2.2. : Les « bonnes pratiques » identifiées sur le territoire du Pays sont formalisées et promues auprès des acteurs locaux et lors d’événements publics • C.2.3. : La coopération et la participation du Pays aux réseaux de territoires ruraux locaux, régionaux, nationaux, européens ont été consolidés • C.2.4. : Un plan de communication partenarial a été élaboré et mis en œuvre, se traduisant par une bonne connaissance du Pays et de ses activités par les habitants

  44. Ordre du jour Rappels méthodologiques Définition des objectifs de l’évaluation Le cadre de construction du système de suivi-évaluation

  45. Suivi de l'évolution dont indicateurs DD des Régions et des Départements Le niveau du contexte Le niveau de l’Agenda 21 comme projet de territoire Evaluation des objectifs et résultats Un dispositif à trois étages Cf. diapo suivante Eléments de suivi et/ou d'évaluation conventionnés avec les M.O des actions Le niveau des actions / projets

  46. Logique d’intervention = finalités du développement durable Objectifs globaux Objectifs de haut niveau auxquels le projet contribue Objectif spécifique Objectif central du projet contribuant à l’atteinte des objectifs globaux = mesures de l’Agenda 21 Résultats = lignes opérationnelles de l’Agenda 21 Produits des activités entreprises Tâches exécutées comme partie intégrante du projet pour produire les résultats Activités Moyens Moyens physiques et non physiques nécessaires pour entreprendre les activités

  47. Rendez-vous le… … 30 juin à 9h30 Bonne soirée !

More Related