Le programme PISA dix ans plus tard

1. Le programme PISAdix ans plus tard Séminaire CRIFPE JouvenceJanvier 2011

2. Plan du séminaire A- Introduction au séminaire : à propos de l’histoire récente des évaluations internationales et du rôle de l’OCDE Claude Lessard, CRIFPE-Montréal B- PISA au Canada : ce qu’il est, comment il est géré et les principaux résultats de 2009 Pierre Brochu, coordonnateur, évaluations internationales, Conseil des ministres de l’Éducation , Canada. C- PISA et l’efficacité et l’équité des systèmes éducatifs. Jake Murdoch, professeur adjoint, Département d’Administration et Fondements de l’Éducation, Université de Montréal. D- La réception et les usages de PISA, ou les rapports entre recherche et politique Claude Lessard, CRIFPE-Montréal. E- Discussion générale et conclusion

3. Introduction au séminaire: à propos de l’histoire récente des évaluations internationales et du rôle de l’OCDE - PISA n’est pas la première enquête internationale comparative sur les acquis des élèves. IEA, IAEP de l’ETS. - Dans les années 90, l’OCDE développe un programme sur les indicateurs des systèmes d’enseignement (INES). En 1997, PISA est créé pour compléter le tout. - Avec PISA, l’OCDE met la question des acquis scolaires dans l’arène publique, met de l’avant une conception de ces acquis en termes de compétences assez générales, qui ne dépendent pas d’un enseignement spécifique. La théorie du capital humain.

4. L’OCDE: organisation internationale(33 pays membres) - Instance de régulation économique et structure d’échanges et de coordination entre pays membres. - Institution productrice de savoirs : Think tank (Secrétariat à Paris) qui « collecte des données, suit les tendances, mène des analyses et fournit des prévisions sur le développement économique, les échanges, l’environnement, l’éducation, l’agriculture, les technologies, la fiscalité, etc. » - Institution qui diffuse son savoir auprès des décideurs et des personnes influentes. Aussi formidable machine de diffusion auprès de l’opinion publique mondiale. PISA comme événement médiatique fort.

5. Idéologie de l’OCDE - Primat de l’économie de marché, vision utilitariste de l’éducation - « regroupe les gouvernements attachés aux principes de la démocratie et de l’économie de marché en vue de : soutenir une croissance économique durable, développer l’emploi, élever le niveau de vie, maintenir la stabilité financière, aider les pays membres et non membres à développer leur économie, contribuer à la croissance du commerce mondial. » - L’éducation est un moteur de croissance et de développement (du capital humain et du capital social), en autant 1) que l’on « identifie l’éventail des qualifications adapté pour parvenir à une croissance soutenue, durable et équilibrée au 21e siècle » et 2) que l’investissement en éducation soit « solide, efficace et juste ».

6. Au sein de l’OCDE, 4 sous-secteurs en éducation - Analyse des politiques d’éducation. - Centre pour la recherche et l’innovation dans l’enseignement (CERI). - La gestion de l’enseignement supérieur. • PISA, + 1- TALIS (enquête internationale sur l’enseignement et l’acquisition de connaissance, 90,000 enseignants et directions, 23 pays,); 2- PIACC, l’évaluation internationale des compétences des adultes (26 pays, 2013), 3- AHELO, l’évaluation internationale des résultats de l’enseignement supérieur (étude de faisabilité).

7. Le consortium PISA La construction des tests et des questionnaires (infos contextuelles), la collecte des données et l’analyse des résultats sont « sous-traitées » à un consortium international d’institutions de recherche et d’enseignement dirigé par le Conseil australien de la recherche en éducation (ACER), le Netherlands National Institue of Educational Measurement (CITO), le service de pédagogie expérimentale, Université de Liège (SPE) et Westat.

8. Réception et usages de PISA - « retenue » de L’OCDE dans l’interprétation des résultats. - Une diversité d’acteurs : les médias et l’opinion publique, les élites politiques, les scientifiques et experts en éducation (dans les structures d’État, les organisations internationales et dans l’enseignement supérieur).

9. La conversation publique autour de PISA • PISA lui-même, sa nature, ses outils, son ambition, ses fondements scientifiques et idéologiques; sur l’évaluation des acquis et sa valeur; • Le rang du système d’éducation national par rapport à celui d’autres pays auxquels on entend se comparer, et dans le temps; • La recherche des explications (internes et externes), (financement, facteurs socioéconomiques et socioculturels familiaux, curriculum et son équilibre, la langue d’enseignement, le « miracle » finlandais…); l’analyse des écarts de résultats (problématique de l’efficacité et de l’équité); • L’identification des solutions internes et externes (financement, centralisation/décentralisation et gouvernance, curriculum, qualité des enseignants, etc).

10. La réception de PISA - Activité sociocognitive d’acceptation, de refus ou de négociation des messages. - Interface entre le scientifique et le politique. Travail de traduction. - Cas du Canada et du Québec, de la France, de l’Écosse, de la Belgique (francophone).

11. Le cas canadien: des manchettes des journaux - Canadian students perform well regardless of socioeconomic status - How Canada is becoming outclassed in school - Canada is not becoming outclassed - Canadian students slip in rankings - The myth o f the Brainy immigrant - The Shanghai surprise - Education rankings: The new schoolyard bully

12. Un argumentaire canadien (CEMEC, OCDE, CCE, médias anglophones hors Québec) - Les données parlent… - Attention : on glisse (moins de bons élèves et plus d’élèves faibles). - Nous sommes dépassés par des pays plus performants, mais… - Pas de remise en cause fondamentale, les provinces les plus populeuses performent bien : efficacité et équité. - Constance et détermination politique.

13. Les manchettes québécoises - On est vraiment très bons (Dubuc, la Presse) - PISA 2009 - Source d'inspiration (Chouinard, le Devoir) - La barre est placée haut - Les élèves canadiens doivent continuer à s'améliorer pour maintenir leur avantage concurrentiel (CEMEC) • COMPÉTENCES EN LECTURE: POURQUOI L'ONTARIO RÉUSSIT-IL MIEUX? (Devoir) - Quebec students still near top in math, global assessment reveals (Gazette) - Du bon usage des tests. (Rioux).

14. Le cas du Québec, suite et fin… soit… - on reprend l’argumentaire du CA avec des petites nuances. - on reprend l’argumentaire français du biais (Rioux). - on s’en sert pour mettre de l’avant une politique (celle de l’ON ou la réforme du curriculum du QC). Dans des pays où les résultats placent le pays au-dessus de la moyenne, PISA n’est peut-être pas un enjeu fort. Il rassure, légitime le statu quo ou apaise les tensions autour de politiques controversées.

15. Cas de la France - Mons et Pons. - Deux argumentaires opposés produits et diffusés par les médias. - Vies différentes des deux. Argumentaire du biais de l’instrument : les résultats mitigés de la France s’expliquent par : • Le biais culturel inhérent à la conception de l’enquête PISA (items conçus par les anglo-saxons…); • PISA ne mesure pas l’acquisition de connaissances (comme la France et l’IEA le font), mais des habiletés et des compétences; • PISA n’est pas une mesure universelle : c’est plutôt un outil statistique pratique parmi d’autres (aspect unidimensionnel et classements); • La structure de l’échantillon des élèves de 15 ans explique la dispersion des résultats ainsi que leur caractéristique moyenne (différence entre les élèves inscrits dans cheminement régulier, ceux dans programmes professionnels ou techniques, ceux en échecs ou à niveau, etc.); • Les élèves français ne tentent pas de répondre à une question s’ils ne la comprennent pas (stigma attaché à l’erreur inhibe toute tentative de deviner la bonne réponse ou de prendre un risque).

16. Le cas de la France, suite et fin… Argumentaire de la gouvernance idéale : les résultats mitigés de la France s’expliquent par : • L’autonomie insuffisante de l’établissement (plus ce dernier est autonome, plus il peut s’ajuster de manière efficiente aux réalités du terrain); • La nature inégalitaire du système éducatif français (caractère hautement sélectif de l’enseignement secondaire, effets pervers des retards, etc.); • Inefficience du système éducatif (absence de liens entre croissance du financement et amélioration des résultats); • Action ciblée et intense limitée à propos de la persévérance scolaire; • Attitudes négatives des élèves à l’égard de l’école; • Découragement des profs; • Le climat de l’école et le rôle crucial de l’engagement de la direction dans la réussite des élèves; • Les liens faibles entre les parents et l’école et leur faible engagement dans la réussite des élèves.

17. Le cas de l’Écosse Grek, Lawn, Ozga - Entrevues avec hauts fonctionnaires et politiques. - Perception de l’OCDE comme partenaire digne de confiance, produisant l’étalon or de la recherche internationale en éducation. La crédibilité de l’OCDE, sa compétence technique et son expertise, sa rigueur scientifique, l’impartialité d’une évaluation externe = signature de PISA. - Participer à PISA c’est montrer aux autres nations que l’on adhère à l’agenda de réformes internationales et à la vision de l’OCDE. Fonction d’intégration dans un ordre éducatif mondial, même si cela passe par une reconfiguration du global, du national et du local.

18. Le cas de l’Écosse, suite… - Pour autant que l’Écosse participe à PISA en tant qu’entité distincte, et non pas comme partie du Royaume Uni, PISA permet à l’Écosse de se faire reconnaître comme système éducatif distinct, membre du « club », capable de se mesurer à des standards internationaux et d’être compétitif dans la cour des grands… - L’Écosse est « sur la map » ! - PISA permet de se mesurer aux meilleurs et d’apprendre d’eux. L’Écosse peut se comparer à d’autres pays que l’Angleterre, notamment les pays nordiques voisins (l’arc de la prospérité des états nordiques, Finlande, Islande et l’Irlande).

19. Le cas de l’Écosse, suite et fin… - Effet de rassurer l’Écosse sur la performance de son système éducatif (bonne performance). - Effet de rassurer aussi l’Écosse à propos de ses propres politiques éducatives.  - Pisa comme outil de légitimation de la politique curriculaire nationale en place.

20. Le cas belge francophone - Mangez, Cattonar - La Belgique : société civile fragmentée, démocratie consociationnelle, état faible et « décentralisé », autonomie des secteurs ou piliers, discrétion (double sens), compromis et négociation. Nécessité d’accommoder des valeurs et des intérêts divergents. - Traditionnellement peu de données évaluatives sur l’éducation. « carence » reconnue par les acteurs à partir des années 90. - PISA est reçu, parce qu’il est produit par une organisation internationale, il n’est pas logé dans un secteur ou l’autre de la Belgique. - Les résultats sont incorporés dans des débats autour d’options politiques préexistantes qui renvoient à des clivages traditionnels en Belgique (catholiques, libéraux, socialistes). PISA est récupéré pour légitimer ou délégitimer des positions établies. - Maroy et Mangez : politicisation de la connaissance et non pas rationalisation de la politique.

21. Le cas belge, suite et fin… - Démocratie de surveillance de Rosavallon. - PISA : outil utilisé par le grand public pour contrôler les actions des acteurs institutionnels et qui renforce la pression des usagers sur le quasi marché éducatif belge. - PISA comme épée de Damoclès au-dessus des états nationaux. L’État Évaluateur est évalué par un tiers, classé et comparé à d’autres pourvoyeurs de services éducatifs. - Ce tiers est légitime et son outil n’est pas ou peu questionné : il apparaît neutre et non politisé, alors qu’il véhicule une vision spécifique de l’Éducation (compétences, développement du capital humain, instrumentalisation de l’éducation aux fins de la globalisation économique).

22. Conclusion - PISA introduit, diffuse et universalise une manière particulière d’échanger et de converser à propos de l’éducation : par des chiffres, des classements, des repères numériques, des comparaisons de moyennes et d’écarts, etc.. Une conversation qui se veut scientifiquement fondée et universellement valable. - En se développant, PISA élargit le cercle de la conversation internationale, accélère en son sein la circulation et la centralité d’un certain type d’information (tous les trois ans). Aussi augmente la force d’un agenda de réformes éducatives axées sur l’efficacité et l’efficience des SÉ.

23. Conclusion, suite et fin… - PISA introduit dans la conversation politique nationale les autres  et leur donnent des identités: Le miracle finlandais, les tigres asiatiques, les bons élèves et les cancres, etc. comparaison et comparatisme. Les SÉ perdent leur épaisseur historique et locale, sont situés dans un même temps réel, celui du monde actuel, et insérés dans la même course (dév. Écon). • PISA et SCEDU : • la montée en puissance de la mesure et de l’évaluation; le retour du quantitatif; la recherche « appliquée » (What works). • La politisation de la recherche ou la rationalisation des politiques ?

24. Merci Claude LessardCRIFPE-MontréalDépartement d’Administration et des Fondements de l’ÉducationUniversité de Montréal