Observer, mesurer et évaluer Construire des indicateurs

1. Observer, mesurer et évaluer Construire des indicateurs Béatrice Van Haeperen, IWEPS 18 novembre 2013

2. Plan • La démarche d’observation • Définition d’un indicateur • Caractéristiques souhaitables d’un indicateur • Types d’indicateurs • Etapes d’un projet, questions d’évaluation et indicateurs

3. 1. La démarche d’observation • « La démarche d’observation recouvre un ensemble de diagnostics, c’est-à-dire une analyse de l’existant, des besoins, des attentes, des forces et faiblesses de la réponse » (M.C. Malhomme et al., 2006, p. 324)* • La démarche d’observation est intimement liée à l’évaluation: la démarche d’évaluation interroge nécessairement le système d’information (structuré ou non). • Généralement, l’observation précède l’évaluation, mais l’évaluation repousse aussi les limites de l’observation (développement de systèmes d’informations) • Les politiques publiques nécessitent des diagnostics récurrents, donc une observation permanente. • «  Si l’évaluation mesure l’impact d’une action en référence à un diagnostic initial, le diagnostic suivant modifie les termes de l’évaluation: les concepts d’attentes, de besoins, de cohésion sociale se modifient à mesure qu’on les observe, car notre société se trouve dans une période de transformations rapides. »(M.C. Malhomme et al., 2006, p. 326)*

4. 2. Définition d’un indicateur (1) Un indicateur c’est … • une mesure qui décrit un phénomène à partir de variables   • dont le suivi et/ou la comparaison dans le temps ou dans l’espace permet de mesurer des changements intervenus par rapport à • une norme • un état de référence • un objectif

5. 2. Définition d’un indicateur (2) • Mesure d’un objectif à atteindre, d ’une ressource mobilisée, d’un effet obtenu, d’un élément de qualité ou de contexte • Information quantifiée, chiffrée • information simple, facilement communicable, non ambiguë • souci de comparabilité dans le temps et dans l’espace

6. 3. Caractéristiques souhaitables d’un indicateur (1) • est étroitement lié avec l’objectif poursuivi • est mesurable régulièrement • est construit à partir de données fiables et validées

7. 3. Caractéristiques souhaitables d’un indicateur (2) • Source des données • Un même phénomène peut être mesuré à partir de données issues de sources différentes. Exemple: le chômage, mesuré par l’ONEM (CCIDE) et Forem (DEI) • Comparaisons dans le temps et l’espace: prudence! • « ruptures » dans les séries temporelles de données en raison de changements affectant • Les nomenclatures • Les méthodologies de comptage, de collecte de données • Le périmètre des catégories • les catégories, méthodologies de comptage, nomenclatures varient d’une région/pays à l’autre. • Agrégation de données de sources diverses • Lorsqu’une politique mobilise de nombreux opérateurs, il faut imposer dès le départ des méthodologies communes de saisie des informations nécessaires pour la construction des indicateurs de suivi et de réalisation. • Méta données - validation • Les producteurs de données fournissent généralement une note méthodologique informant sur les source, unité de mesure, mode de récolte, périodicité, mode de calcul, etc. Ces informations sont essentielles pour la construction d’indicateurs valides.

8. 4. Types d’indicateurs (1) • Observer • Indicateur de moyens • Indicateur de réalisation • Indicateur de résultat • Indicateur d’impact • Indicateur de contexte • Porter un jugement évaluatif • Indicateur d'effectivité • Indicateur d'efficacité • Indicateur d’efficience

9. 4. Types d’indicateurs (2) Indicateurs et niveaux d’observation • objectifs opérationnels • Indicateur de moyens • Indicateur de réalisation • objectifs spécifiques • Indicateur de résultat • Indicateur de contexte • objectif global • Indicateur d’impact • Indicateur de contexte

10. Problèmes à Impacts résoudre - Besoins Utilité durabilité Pertinence du Retombées, effets programme Objectif général durabilité Pertinence des mesures Efficacité du programme Résultats Objectifs attendus/observés spécifiques effectivité Efficacité cohérence des Objectifs Réalisations réalis ations Attendues/observées opérationnels efficience cohérence Ressources humaines et financières 4. Types d’indicateurs (3) Objectifs Critères d’évaluation Indicateurs

11. 4. Types d’indicateurs (4) Indicateur de moyens ou de ressources • fournit des informations sur les ressources financières, humaines, matérielles, organisationnelles ou autres utilisées pour appliquer le programme d’actions. • budget affecté et taux de consommation • nombre de personnes affectées à la réalisation du programme d’actions • … Indicateur de réalisations • représente le « produit » (biens ou services) du programme d’actions mis en œuvre, le produit de l’activité des opérateurs: c’est ce qui a été fait • nombre de Km de routes construits • nombre d’ha réhabilités • nombre de formations financées par le programme • ….

12. 4. Types d’indicateurs (5) • Indicateur de résultats • représente l’avantage immédiat du programme pour les bénéficiaires directs • fournit de l’information sur les changements intervenus suite à la mise en œuvre du programme sur les bénéficiaires directs • temps gagné par les utilisateurs d’un service • proportion de bénéficiaires de formation qui a obtenu un emploi après la formation • changements de comportement • adoption de pratiques nouvelles • …

13. 4. Types d’indicateurs (5) Indicateur d’impacts • mesure les effets du programme d’actions au-delà de son interaction directe et immédiate avec les destinataires • effets qui perdurent à moyen et long terme sur les destinataires directs (impacts spécifiques) • proportion de bénéficiaires de formation qui a est encore en emploi un an après la formation • effets à court/moyen et long terme sur les personnes non directement visées par le programme: effets de substitution entre bénéficiaires et non bénéficiaires, externalités positives ou négative • amélioration de la qualité de vie pour le voisinage d’une friche industrielle réhabilitée • amélioration de la qualité des plages au voisinage d’une nouvelle station d’épuration • Travailleurs licenciés dans des entreprises non subventionnées • les indicateurs peuvent mesurer des impacts au niveau macroéconomique

14. 4. Types d’indicateurs (6) Indicateur de contexte • qualifie une situation • informe sur des variables qui pourraient avoir un effet sur les résultats escomptés indépendamment des mesures prises • la conjoncture internationale • l’environnement économique et financier (pour des aides aux entreprises) • l’environnement sanitaire et social (pour des politiques de santé) • l’environnement culturel et professionnel (pour des services de formation) • ….

15. 4. Types d’indicateurs (6) • Indicateur d'effectivité et d’efficacité • compare ce qui a été fait à ce qui était initialement prévu. Il indique dans quelle mesure on atteint les objectifs visés par une action • Nombre d’heures de formation dispensées par rapport au nombre d’heures annoncées (réalisation- effectivité)) • Nombre de personnes remises au travail grâce aux formations par rapport à l’objectif annoncé (résultat-efficacité) • Indicateur d’efficience • compare un indicateur de réalisation ou de résultat aux ressources (en particulier financières) utilisées pour y parvenir. Il permet d’étudier la question de la minimisation du coût par unité (de réalisation ou de résultat) « produite » • Coût moyen d’une formation par bénéficiaire (réalisation) • Coût moyen d’une formation par chômeur remis au travail grâce à la formation (résultat)

16. 4. Types d’indicateurs (6) • indicateurs simples : données issues de la pratique statistique ou administrative, qui peuvent moyennant quelques précautions statistiques, servir directement d’indicateurs  • indicateurs élaborés : ils résultent de traitements plus ou moins complexes et mettent en œuvre plusieurs types de données  • taux de chômage • PIB • proportion de personnes participant à un événement par rapport au public cible • proportion de bénéficiaires de formation qui ont trouvé un emploi à la sortie de la formation • indicateurs composites : ils agrègent plusieurs indicateurs • Indicateur de bien-être • indicateurs synthétiques : ils agrègent l’ensemble des indicateurs se rapportant à un même domaine en un seul indicateur • indicateur de développement humain (IDH du PNUD) • indicateur de sévérité de la législation sur la protection de l’emploi (OCDE)

17. 5. Etapes d’un projet, questions d’évaluation et indicateurs (1)

18. 5. Etapes d’un projet, questions d’évaluation et indicateurs (2) Les services s’évaluent à deux niveaux : le niveau du produit direct et le niveau des résultats indirects J. Gadrey (2003), Socio-économie des services, Repères La découverte.