Assurer la cohérence entre l’évaluation et les objectifs

1. Assurer la cohérence entre l’évaluation et les objectifs Philippe Gagné Sabine Brunet Geneviève Boucher Laurence Dumont Colloque de l’AQPC Le 5 juin 2013

2. Anderson, 2001

3. Le départementet l’équipe de recherche Processusd’une analyse d’alignementcurriculaire Sollicitationdes enseignants Collecte du contenu du cours Les experts codeurs Le statisticien Traitementstatistique des données Vérification de la validité et de la fiabilité des données Résultats synthétisant le contenu des évaluations Description des évaluations et de leur contenu Processusd’accord inter-juges L’équipe de recherche Analyse et intégrationdes résultats Équivalence des opportunitésd’apprentissage • Plan d’actiondéveloppé par: • Le département • L’équipe de recherche • Les enseignants Vision commune et engagement envers les conclusions de la démarche Discussion surl’évaluation des objectifs du cours, nourriepar l’interprétation des résultats Présentation aux enseignants et au département Optimisation de l’équité entre les cours Développementprofessionnel des enseignants

5. Commentaires • Une initiation pour ma part! • Une définition de « alignement curriculaire d'un programme ou d'un département » aiderait à se positionner - si on parle d'une cohérence entre objectifs et évaluations - alors je connais bien mais pas nécessairement toutes les méthodes. • Je n'y connais rien. • J'ai une connaissance théorique de l'évaluation de programme de formation pour l'avoir abordée dans un cours à la maitrise. Mais je ne connais pas les spécificités de la démarche d’évaluation lorsqu’elle est menée dans le contexte collégial.

6. Quelles sont vos attentes par rapport à cet atelier? • Des outils pour évaluer le mieux possible les compétences visées par le programme. • Je compare mes attentes a une sorte de défrichage du sujet. Obtenir des informations de base et pouvoir expérimenter afin de pouvoir investir les connaissances développées dans mon milieu. • Connaître l'application du processus dont il est question dans la description de l'atelier m'intéresse vivement. • En tant que conseillère pédagogique, pouvoir utiliser les outils et trucs qu'on me fournira pour mieux accompagner les enseignants. • À titre de conseiller pédagogique, en savoir plus pour aider les professeurs. (J'ai aussi le mandat des évaluations de programme). • Tout simplement développer une meilleure connaissance de ce qu'est l'évaluation de programme au collégial. • Apprendre !

7. Lexique Alignement curriculaire: Webb (2007): une méthode permettant de mesurer « le degré de concordance entre les attentes [les standards] et les évaluations et jusqu’à quel point elles se complètent pour faire en sorte que les étudiants apprennent ce que l’on s’attend qu’ils sachent et fassent » (citée par Martone & Sireci, 2009, nous traduisons). Taxonomie: « La taxonomie en éducation est une classification organisée et hiérarchisée de phénomènes d'apprentissage ou de développement. » Dictionnaire actuel de l'éducation (Legendre, 2005).

8. Plan de l’atelier • L’annonce faite au département…; • La collecte des données; • L’« itémisation »; • Les outils de traitement des données; • Description des évaluations (codage); • PAUSE; • Accords interjuges et fréquences croisées; • Démarche à Vanier; • Autres taxonomies; • Évaluation.

9. La pertinence de l’alignement curriculaire • Extraits du rapport de la Commission d’évaluation de l’enseignement collégial (CEEC) à Vanier (2011): « La Commission a observé que [l’évaluation finale] ne correspond pas toujours au niveau taxonomique des objectifs visés » : Validité « La Commission suggère au Collège de s’assurer de l’équivalence de l’évaluation dans le cas d’un même cours donné par plus d’un professeur » : Cohérence et équité

10. La simulation Alignés ou pas?

11. Saisie et base de données

12. VOTRE ÉQUIPE

13. Accords interjuges • Tendreversl’objectivité • Démarcheitérative • Expertise de base; • Encodage « instinctif »; • Comparaison et créationd’unecompréhension commune; • Résultat final visé: ≈ 85% et +;

14. Accords interjuges (suite) • Comparaison et créationd’unecompréhension commune • Résultat final visé: ≈ 85% et +

15. La démarche au cégep Vanier Baliser la liberté

16. Mise en contexte • Des cours communs à la conception de cours particularisés; • La volonté de mesurer le degré de cohérence et d’équité; • L’obtention d’une subvention du AcademicSuccessProjects; • Hiver 2012: 7 cours 102 (niveau intermédiaire).

17. Méthodologie • Collecte des données; • Numérotation des items; • Codage des items; • Traitement des données; • Analyse des résultats; • Diffusion aux volontaires, puis au département.

18. Numérotation des items

19. Résultats • Nombre d’items; • Objectifs ministériels; • Relation-question-réponse (RQR); • Processus en lecture.

20. Nombre d’items

21. Objectifs ministériels Pourcentage de points par objectif ministériel selon le professeur

22. Objectifs ministériels (suite) Répartition du pourcentage et du nombre d’items en fonction des objectifs ministériels selon le professeur

23. RQR (Wixson, 1983) • Explicite et textuel : La relation est explicite et textuelle si la question et la réponse découlent toutes deux du texte et que la relation entre la question et la réponse est clairement indiquée par des indices dans le texte même. • Implicite et textuel : La relation est implicite et textuelle si la question et la réponse découlent toutes deux du texte, mais qu’il n’y a pas dans le texte d’indice grammatical qui relie la question à la réponse. Cette catégorie demande l’utilisation d’au moins une inférence par le lecteur. • Relation implicite et faisant référence aux schémas du lecteur : La relation est implicite et fondée sur les schémas du lecteur si la question seule découle du texte et que le lecteur utilise ses propres connaissances pour répondre à la question.

24. RQR Pourcentage du cours dédié à chaque catégorie du RQR par professeur

25. Processus en lecture (Giasson, 1990, 2011; Irwin, 1986) Microprocessus : Les microprocessus permettent de comprendre l’information contenue dans une phrase : reconnaissance de mots; regroupement des mots en unités significatives; sélection des éléments de la phrase importants à retenir. Processus d’intégration : Les processus d’intégration permettent d’effectuer des liens entre les propositions ou entre les phrases. Macroprocessus : Les macroprocessussont orientés vers la compréhension du texte dans son entier. Processus d’élaboration : Il y en a cinq : faire des prédictions, se former une image mentale, réagir émotivement, raisonner sur le texte, intégrer l’information nouvelle à ses connaissances antérieures. Processus métacognitifs : Les processus métacognitifs font référence aux connaissances du lecteur sur le processus de lecture en soi ; ils visent aussi sa capacité à se rendre compte d’une perte de compréhension, prise de conscience qui l’amènera à utiliser des stratégies appropriées pour remédier au problème.

26. Processus en lecture Valeur du cours en pourcentage accordé aux différents processus en lecture

27. Activité métacognitive « Elle englobe toutes les pratiques réflexives qui explicitent, en miroir, le fonctionnement intellectuel de l’individu, en particulier en situation d’apprentissage, et permettent ainsi au sujet de réguler cette activité dans ses différentes composantes. » (Cuq, 2003) « Processus qui conduit à l’autogestion des activités de cognition. » (Caron, 1991)

28. Questions ou activités métacognitives • Nommezcinq concepts qui vousaidentàinterpréterce film. Pour chaque concept, expliquez comment votrecompréhensionfaçonnevotreinterprétation du film. • Faites deux listes. L’une avec les points de vue de trois personnages du roman et l’autre avec trois de vos positions en tant que lecteur. Expliquez comment vos positions vous amènent à interpréter les événements du roman différemment des personnages. • Ce cours commence à me faire sentir que je devrais remettre en question toute l’information qu’on me présente. Vrai Faux • Le port-folio: identifier ses propres erreurs typiques au début du cours.

29. Guide de conception d’évaluations en compréhension écrite • Regroupement de questions typiques pour chaque catégorie RQR/Processus; • Source d’inspiration lors de la conception d’une évaluation; • Document évolutif par niveau; • (Annexe D de notre rapport; voir bibliographie).

30. Extrait du Guide

31. Autres taxonomies Bloom, Anderson, Marzano, Webb, Alouette!

32. Bloom (1956) est mort… (de même que Anderson, 2001) Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers.

33. Vive Marzano!

34. Marzano (2007)

35. Les résultats des élèves (Bateman, 2007)

36. Les résultats des élèves (suite)

37. Les résultats des élèves (fin)

38. Bibliographie sélective Anderson, L., & Krathwohl, D. (2001). A Taxonomy for Learning, Teaching, and Assessing. Longman New York. Longman. Bateman, D., Taylor, S., Janik, E., & Logan, A. (2009). Curriculum coherence and student success. Pédagogie collégiale, 22(5), 8–18. Version française à paraître dans le numéro d’automne 2013. Beach, R. W. (2011). Issues in Analyzing Alignment of Language Arts Common Core Standards With State Standards. Educational Researcher, 40(4), 179–182. doi:10.3102/0013189X11410055 Biggs, J. (1996). Enhancing Teaching Through Constructive Alignment. Higher Education, 32, 1–18. Brennan, R. L. (2006). Educational measurement. (R. L. Brennan, Ed.) (4th ed., Vol. 4th ed.). American Council on Education and Praeger Publishers. Tiré de http://www.loc.gov/catdir/toc/ecip0614/2006015706.html Cohen, S. A. (1987). Instructional alignment: Searching for a magic bullet. EducationalResearcher, 16(8), 16–20. Tiré de http://edr.sagepub.com/cgi/content/abstract/16/8/16 Cuq, J.-P. (2003). Dictionnaire de didactique du français langue étrangère et seconde. Paris: CLE International. Gagné, P., Brunet, S., Boucher, G., & Dumont, L. (2012). Alignement curriculaire en français langue seconde au cégep Vanier. Cours de niveau 3. Montréal: VanierCollegePress. Tiré de http://www.cdc.qc.ca/pdf/788353-gagne-et-al-alignement-curriculaire-FLS-vanier-2012.pdf Gauthier, C., Mellouki, M., Bissonnette, S., & Richard, M. (2005). Écoles efficaces et réussite scolaire des élèves à risque. Un état de la recherche. Québec: Université Laval. Giasson, J. (2011). La compréhension en lecture (3e édition.). Bruxelles: De Boeck. Hammerness, K. (2006). From Coherence in Theory to Coherence in Practice. TeachersCollege Record, 108(7), 1241–1265. doi:10.1111/j.1467-9620.2006.00692.x Irwin, J. (1986). Teaching Reading Comprehension Processes. Englewood, New Jersey: Prentice-Hall. Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction. Review of Educational Research, 79(4), 1332–1361. doi:10.3102/0034654309341375 Marzano, R. J., & Kendall, J. S. (2007). The New Taxonomy of Educational Objectives. (J. S. Kendall, Ed.) The new taxonomy of educational objectives 2nd Ed. Corwin Press. Tiré de http://www.amazon.com/New-Taxonomy-Educational-Objectives/dp/1412936292 Pellegrino, J. (2006). Rethinking and redesigning curriculum, instruction and assessment: What contemporary research and theory suggests. National Center on Education and the Economy. Consultéle 5 février 2013: http://teacherlearner.com/activelearning_media/Pellegrino-Redesigning.pdf Porter, a., McMaken, J., Hwang, J., & Yang, R. (2011). Assessing the Common Core Standards: Opportunities for Improving Measures of Instruction. Educational Researcher, 40(4), 186–188. doi:10.3102/0013189X11410232 Squires, D. A. (2009). Curriculum Alignment. Research-Based Strategies for Increasing Student Achievement. ThousandOaks: CorwinPress. Tardif, J. (1997). Pour un enseignement stratégique. L’apport de la psychologie cognitive. Montréal: Les éditions Logiques. Webb, N. (2007). AligningAssessments and Standards. Consulté le 5 décembre 2011, http://www.wcer.wisc.edu/news/coverstories/aligning_assessments_and_standards.php Wixson, K. (1983). Questions About a Text: What You Ask About Is What Children Learn. The Reading Teacher, 37(3), 287–295.