270 likes | 419 Views
Journée d’étude FEBISP 7 octobre2010. EVALUATION ET QUALITÉ. Réflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement. Marc Totté marc.totte@inter-mondes.org. LES ENJEUX. Constats de départ
E N D
Journée d’étude FEBISP 7 octobre2010 EVALUATION ET QUALITÉ Réflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement Marc Totté marc.totte@inter-mondes.org
LES ENJEUX • Constats de départ • La ‘culture’ de l’évaluation : plus une obligation qu’une demande Et un besoin partiel • La ‘culture’ de la qualité : autant un souci interne qu’une réponse à des pressions diverses de plus en plus manifestes de « résultats » et « d’économies » budgétaires • Mais des représentations très différentes de la qualité • Enjeux – Questions -Risques • Enjeu : La reconnaissance de la qualité (à travers charte, labels, ou autre) pourrait limiter l’inflation de contrôle et d’évaluation • Question : A quelles conditions ? • Risques : Comment éviter les risques de renforcement de la concurrence entre associations ?
UN ESPACE PARTICULIER • Une articulation entre 2. Commandite Un dispositif d’analyse Un système de pouvoir 4. Rend compte 3. Apprécie 5. Décide 1. S’interroge Un objet à évaluer
LES DIFFÉRENTES FORMES D’ÉVALUATION (SUITE) LOGIQUES/ MODELES de Développement FONCTIONS / PRIORITES GENERATIONS • Selon les époques (4 générations) Tendance vers plus de croisement entre des appréciations différentes Mesurer G1 Technicistes, déterministes Décrire les forces et faiblesses G2 Juger et recommander G3 Apprendre G4 Systémiques, Interactionnelles ? Négocier, discuter
LES LIMITES DE L’ÉVALUATION (DANS LA COOPÉRATION) • Processus limité dans le temps et avec peu de moyens • Avec une attention particulière sur les « résultats » et donc sur l’efficacité et l’efficience (au détriment d’enjeux de pertinence et d’impacts) • Reste perçu comme un contrôle • Centré sur la figure du projet !!! • N’intervient que peu sur l’organisation, son système de gouvernance • Or, la capacité interne de tirer parti d’une évaluation n’est pas évidente et dépend de l’organisation
LA QUALITÉ CLASSIQUE : CONCERNE L’ACTION ET L’ORGANISATION ISO 9000 : « L’aptitude d’un ensemble de caractéristiques à satisfaire des exigences ».
EXIGENCES CARACTERISTIQUES CARACTERISTIQUES Problèmes, défis, enjeux, situations De l’organisation De l’organisation Qualité = Aptitudes à faire ces liens De l’action De l’action Nord Normes Ethiques Normes Ethiques Sud LA QUALITE EN SOLIDARITÉ INTERNATIONALE
LES LIMITES ET ENJEUX • Centrée sur l’organisation plus que son environnement • Autour de trois champs plus particuliers : • Gouvernance • Gestion financière • Gestion des processus • Une notion de « satisfaction » ambigüe mais importante et extensible • Enjeux • La sortir de ces ancrages (monde de l’entreprise) • Lui permettre d’être réellement en prise avec la société
DEUX REPRÉSENTATIONS OPPOSÉES • La qualité « finalisante », axée sur les performances, technique • La qualité « propensive », ouverte, politique Centrée sur elle-même Articulée et articulante
ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE • Dans la logique projet MOYENS RESULTATS OBJECTIFS
ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE • Dans la démarche qualité « classique » (l’organisation)
COMMENT ? RELIER AUX DYNAMIQUES SOCIÉTALES, QUI PRODUISENT DES EFFETS ET FONT SENS (BLAIRON 2008) Ou impact
QUELQUES OUTILS ET LEUR ADAPTATION • La boucle de la qualité • La roue de Deming
LA BOUCLE DE LA QUALITÉ DES SERVICES PUBLICS Décalages de conception ? • Fournit 3 types d’Indicateurs • internes • Satisfaction • Processus • Conformité Système des « producteurs » système des « utilisateurs» Usagers Service Règles du fonction-nement Qual. attendue Qual. voulue Décision Choix stratégi-que Ecarts de satisfaction Ecarts de délivrance ? Mesure de satisfaction Mesure des résultats Mesure du fonction-nement I. de satisfaction I. de conformité I. de processus Qual. fournie Qual. perçue Décalages de perception ?
ADAPTATIONS POSSIBLES CONTEXTE S « Bénéficiaires » QUALITE ATTENDUE CONFRONTATION Qn I.de confrontation ? Q1 Q3 Q2
LA ROUE DE L’AMÉLIORATION CONTINUE (DEMING) PDCA • Planifier/Plan • Développer/Do • Contrôler/Check • Améliorer, Ré-Agir /Act Mais : Tendance de l’homme à faire toujours plus la même chose (la roue ne permet pas en soi de sortir de nos systèmes de valeurs pour changer)
IMPORTANCE DE CES OUTILS • L’accent sur le processus d’apprentissage au moins autant que le résultat • La nécessité de coller aux réalités • Quatre types de questions clefs : • Quels processus de changement – internes, externes - avons-nous déclenchés ? • Quels apprentissages en avons-nous capitalisés ? • Comment arrive-t-on à faire mieux avec plus de parties prenantes? • Quelles sont les opérations sur ce processus de transformation qui posent le plus de problèmes ? ...
ARTICULATIONS AVEC LES AUTRES EXIGENCES (IMPACT, GESTION AXEE RÉSULTATS)
LIENS AVEC L’IMPACT • Deux modèles de l’impact • « tir à l’arc » (déterministe, linéaire, contexte peu « actif ») • « ronds dans l’eau » (aléatoire, interactionnel-systémique, contexte important) • La qualité sera : • Soit, la capacité à tendre, viser, atteindre (force, vision, capacité à modéliser la courbe balistique ? Donc à planifier, programmer rigoureusement et à gérer les risques, etc.) • Soit, la capacité à anticiper, s’adapter, accentuer, faire résonner, amplifier, accompagner, suivre… l’existant (Donc à en connaitre suffisamment sur les personnes, les organisations, leurs relations, les motivations à changer, etc.)
OUTIL-BOUSSOLE pour penser le suivi, l’évaluation, la qualité Mettre en processus du changement social, économique et politique « Politique » Mieux rendre compte (redevabilité) Amélioration Globale du système sociétal Logique de l’IMPACT « Conceptuel » « Administratif » Démarche de la QUALITE Evaluation des « processus » Interpelle «son» organisation, soi avec les « autres » ? Démarche axée sur les RESULTATS Mieux Apprendre collectivement (renforcement compétences) Mieux Gérer Evaluation des « produits » agit sur les « autres » (cibles uniques du chgt)? « Technique »
EN RÉSUMÉ • La qualité peut améliorer les conditions d’évaluation : • Diminuer la fréquence • Simplifier les critères et indicateurs • A conditions de la concevoir comme : • Diverse et spécifique : La "qualité clef sur porte" n'existe pas. • Une source d'interpellation dirigée sur soi et son contexte • Une « Préoccupation » plutôt qu’une obligation • Un « processus » d’apprentissage au moins autant que la recherche de « résultats » • Un horizon toujours perfectible plutôt que la perfection performative