Évaluation Dr Simon Joss Centre for the Study of Democracy University of Westminster Atelier CIPAST, Procida 17-21 juin

1. ÉvaluationDr Simon JossCentre for the Study of DemocracyUniversity of WestminsterAtelier CIPAST, Procida17-21 juin 2007

2. Présentation • Le problème de l’évaluation • Pourquoi évaluer ? • Comment mesurer l’efficacité ? • Quelques critères d’évaluation • Les limites • Instruments d’évaluation • Évaluation interne et/ou externe • Évaluation interne de Meeting of Minds • Réflexion interne de l’atelier CIPAST

3. Le problème de l’évaluation • Le concept de participation est complexe et chargé de valeurs. • Les tentatives visant à spécifier des critères ont leur limites, et ont donc eu peu d’effets • centrées sur un critère unique/spécifique • critères procéduraux plutôt que substantiels, c’est-à-dire liés à ce qui rend un processus efficace, non à la manière dont on peut mesurer des résultats efficaces (par ex. qualité des décisions finales) • Absence de références appropriées pour comparer et mesurer la qualité des exercices de participation • Il n’existe pas de méthode d’évaluation reconnue • On dispose de peu d’outils de mesure fiables • Grande nombre de variables « d’évaluation » • procédural, contextuel, environnemental, implémentation, absence d’instrument de mesure standardisé (questionnaires) • Nécessité d’avoir des ensembles de critères plus complets pour déterminer si une approche ou méthode innovante est performante

4. Pourquoi évaluer ? • Plus large reconnaissance de la nécessité et de la valeur des initiatives participatives • Les méthodes de participation sont souvent employées car « il faut bien » impliquer le public d’unefaçon ou d’une autre, en considérant l’implication comme une fin en soi, au lieu d’un moyen de parvenir à une fin • Le nombre et la complexité croissante des initiatives disponibles

5. Comment mesurer l’efficacité ? • Qu’est-ce qui constitue « l’efficacité » ? • L’efficacité n’est pas une qualité évidente, monodimensionnelle et objective, que l’on pourrait facilement identifier, décrire et mesurer • Est-il possible de parler d’une définition de l’efficacité de la participation publique d’une manière générale ? • Une formulation plus générale de ce qu’on entend par efficacité est-elle nécessaire ? • Efficace d’après qui ? • Chercher à faire accepter une définition du terme « efficace » par les parties concernées • Pour définir l’efficacité, il existe une dichotomie entre le résultat d’un exercice et le processus associé à cet exercice (Rowe & Frewer 2000) • Un exercice bénéficiant d’une bonne acceptation, mais d’un mauvais processus, a peu de chances d’être implémenté par des financeurs ou des décideurs • Un exercice qui a un bon processus, mais une mauvaise acceptation, sera sans doute accueilli avec scepticisme par le public/les acteurs, risque de boycott

6. Critères d’évaluation • Critères d’acceptation (également démocratique (Fiorino), honnêteté (Webler)) • Liés à l’acceptation publique potentielle d’une procédure • Critères du processus (compétence (Webler)) • Liés à la construction et l’implémentation efficaces d’une procédure • Les critères d’évaluation proposés par Rowe et Frewer ne doivent pas être pris comme définitifs, mais plutôt comme objets de débat et pour encourager de nouvelles expérimentations

7. Critères d’acceptation • Représentativité • Indépendance • Implication précoce ? • Influence sur la politique • Transparence

8. Représentativité • Les participants doivent couvrir un échantillon largement représentatif de la population concernée • Utilisation d’échantillons/questionnaires stratifiés aléatoirement pour déterminer la variété des attitudes • Obstacles générés par les publics vastes, limitations logistiques/financières

9. Indépendance • Processus conduit d’une manière indépendante et impartiale • Équipe de direction variée et impartiale • Recours à un animateur respecté et impartial • Représentants du public indépendants des financeurs • Équilibre entre la participation des acteurs, la direction, les financeurs et les porte-parole

10. Implication précoce ? • Public impliqué dès que des jugements de valeur apparaissent • Le débat public doit être autorisé sur les hypothèses sous-jacentes et sur l’agenda, pas seulement sur des problèmes étroits et prédéfinis • Stade auquel le public doit être impliqué dans les questions politiques – dès que cela paraît raisonnable

11. Influence sur la politique • Les résultats doivent avoir un véritable impact sur les politiques, et cet aspect doit être visible • Les méthodes de participation sont souvent considérées comme intellectuelles, utilisées pour légitimer des décisions ou pour donner l’apparence d’une consultation sans aucune intention d’agir à partir des recommandations (par ex. façon dont a été perçu GM Nation?) • Acceptation claire, dès le départ, de la façon dont le résultat sera utilisé et comment il pourra orienter les politiques • Importance des médias pour informer le large public des influences que le résultat a eues sur les politiques

12. Transparence • Le processus doit être transparent, pour que le public puisse voir ce qui se passe et comment les décisions sont prises • La transparence peut passer par la diffusion d’informations sur des aspects de la procédure, de la sélection des participants à la façon dont une décision est prise, ou à la publication de comptes-rendus de réunions

13. Critères de processus • Accessibilité des ressources • Définition des tâches • Prise de décision structurée • Rentabilité

14. Accessibilité des ressources • Les participants doivent avoir accès aux ressources appropriées qui leur permettent de compléter correctement leur dossier • Accès aux informations appropriées et intéressantes pour une prise de décision efficace • Les ressources nécessaires comprennent : informations (résumés de faits pertinents) ; ressources humaines (accès à des scientifiques, des témoins, des analystes décisionnaires, etc.) ; des matériels (rétroprojecteur, tableau papier) et du temps (temps suffisant pour prendre des décisions) ; finances (fonds suffisants fournis par les financeurs) • Toute limitation de ces ressources risque de nuire à la qualité du processus de participation.

15. Définition des tâches • La nature et l’étendue de la participation doit être définie clairement • Pour éviter toute confusion concernant le cadre, son résultat escompté et les mécanismes de la procédure, tous les aspects doivent être clairement identifiés au départ • Sinon, l’efficacité et la crédibilité de la procédure sont mises en doute par tout litige provoqué par des malentendus • Cependant, des règles et définitions trop prescriptifs peuvent réduire la flexibilité face à de nouvelles informations ou de nouveaux débats

16. Prise de décision structurée • Comprend l’utilisation/la mise en place de mécanismes appropriés pour structurer et présenter le processus décisionnel • Permet l’examen des raisons sous-jacentes à une décision • Documenter le processus décisionnel augmente la transparence • Divers outils d’aide à la décision peuvent être incorporés (par ex. arbres de décision, Delphi) pour assurer qu’un poids égal est accordé aux considérations sociales et scientifiques • Recours à un animateur pour diriger les discussions et encourager une participation égale

17. Rentabilité • Le rapport qualité/prix est une motivation importante, par ex. une grande audition publique sera inadaptée à une décision politique mineure • Tenir compte des coûts potentiels des méthodes alternatives, tant en temps qu’en argent, avant de se lancer dans un exercice de participation

19. Examen par des critères d’évaluation: les limites • En conséquence des diverses manières dont une méthode donnée peut être appliquée • + atténuer les effets des facteurs sociaux et environnementaux • - la précision dans la définition et la mesure des critères, • = il n’est pas possible d’affirmer définitivement si une méthode donnée réussit ou échoue

20. Instruments d’évaluation • Questionnaires (structurés, semi-structurés) • Entretiens (face-à-face, au téléphone) • Journaux des participants • Observations (structurées, semi-structurées) • Analyse de contenu/ documents • Analyse des médias

21. Évaluation interne et/ou externe • L’évaluation interne nécessite une réflexion qui alimente directement la préparation et la conduite d’un exercice de participation pour permettre des ajustements progressifs • L’évaluation externe nécessite un processus indépendant pour assurer une évaluation complète de la préparation méthodologique et conceptuelle de l’exercice de participation, de ses résultats, issues et impacts • Utiliser à la fois l’évaluation interne et l’évaluation externe fournit d’une part une « image globale » - connaissance informée des participants d’une part et examen objectif d’un exercice de participation dans sa globalité d’autre part.

22. Évaluation interne de Meeting of Minds • Logique : La valeur d’une évaluation interne est particulièrement importante pour cette initiative. La nature unique de cette initiative – conduite d’une nouvelle méthode d’évaluation participative des technologies à portée et gouvernance transeuropéennes dans les sciences et les technologies, coordonnée par un groupement ad hoc d’organisations – nécessite une évaluation interne approfondie. Les considérables ressources humaines, financières et de gestion doivent être justifiées par les résultats obtenus si des initiatives participatives complexes similaires doivent être viables dans le contexte européen.

23. Objectifs • Alimenter directement le processus de préparation et de conduite de l’initiative Meeting of Minds en permettant des ajustements méthodologiques, organisationnels et procéduraux progressifs • Renforcer et enrichir les « nouvelles » connaissances, visions et expériences (apprentissage) de ses participants

24. Instruments MoM • Brefs questionnaires (composés de questions le plus souvent fermées) visant à déterminer l’adéquation de la logistique, des supports d’information, des processus de délibération et d’évaluation • Réactions formelles et informelles des animateurs, coordinateurs nationaux et/ou chefs de projet, experts et autres participants pendant toute la durée de l’initiative • Les réactions obtenues via les questionnaires et les observations enregistrées ont permis au comité de pilotage de réfléchir régulièrement aux processus de l’initiative et d’apporter les ajustements nécessaires

25. Enseignements tirés • Équilibre entre les dimensions national/européen • Difficultés à conduire une initiative transeuropéenne • Difficultés à conduire une évaluation (interne) transeuropéenne

26. Difficultés à conduire une initiative transeuropéenne • Logistique • Communication • Interprétariat/ traduction • Animation • Enregistrer les paroles des « citoyens » • Identité nationale/européenne • Méthodologie

27. Difficultés à conduire une évaluation (interne) transeuropéenne • Questionnaires • Taux de réponse • Observations

28. Merci !