1 / 38

Le fichier de cette présentation est téléchargeable sur le site web du SMART-ULg :

Analyse d'un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre Jean-Luc GILLE S Chargé de recherches, directeur du SMART-ULg jl.gilles@ulg.ac.be

psyche
Download Presentation

Le fichier de cette présentation est téléchargeable sur le site web du SMART-ULg :

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Analyse d'un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre Jean-Luc GILLES Chargé de recherches, directeur du SMART-ULg jl.gilles@ulg.ac.be XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004

  2. Le fichier de cette présentation est téléchargeable sur le site web du SMART-ULg : http://www.smart.ulg.ac.be/congres/amse2004/ Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  3. Structuration de cette communication 1. INTRODUCTION Idéalement… dans notre enseignement supérieur… Quelques conséquences liées au contexte de massification PROBLEMATIQUE 2. Un modèle de construction et de gestion qualité des évaluations standardisées 3. METHODOLOGIE « SMART » 4. DEVELOPPEMENTS& RESULTATS La mise en œuvre des procé-dures de feedbacks via internet Un projet de plateforme où les procédures de feedbacks seront amplifiées… 5. PERSPECTIVES Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  4. Introduction Examens oraux Portfolio Auto-évaluations Travaux … Epreuves écrites Stages Performances Feedbacks Dans le contexte de l’enseignement supérieur, lorsqu’il s’agit d’évaluer les apprentissages … Individualisés Diagnostiques Rapides Précis Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  5. Introduction Examens oraux Porte-folio Auto-évaluations Travaux … Epreuves écrites Stages Performances Feedbacks Dans le contexte de l’enseignement supérieur, lorsqu’il s’agit d’évaluer les apprentissages … Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  6. Problématique Blais & al, 1997; Gilles & al., 1998 massification des effectifs sans suivi des dotations budgétaires ! (Gibbs & Jenkins, 1992 ; Dupont & Ossandon, 1994 ; Romainville & Boxus, 1998 ; Debry, Leclercq & Boxus, 1998) Depuis 1972 le nombre de diplômés a augmenté de 50 % et le budget des universités, lui, est resté égal ! Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  7. Face à des centaines d’étudiants, comment fournir rapidement des feedbacks individualisés, précis et diagnostiques ? Problématique

  8. Problématique Manque de rétroactions en ce qui concerne nos performances aux examens ! Votre avis sur la qualité des examens ? Blais & al., 1997; Gilles & al., 1998 Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  9. Problématique Grands groupes Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  10. Méthodologie « SMART » Ressources en personnel et en matériel nécessaire au SMART Modèles & procédures SMART Un système qualité pour la réalisation des évaluations : validité  fidélité  sensibilité  diagnosticité  praticabilité  équité  communicabilité  authenticité Critères de qualité Besoins des ensei- gnants & des étudiants Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  11. Méthodologie « SMART » 1. Analyse des 2. Mise en forme 3. Construction objectifs de de l’épreuve de l’épreuve l’enseignement - Rédaction des - Définition des questions Modalités de - Points Ense ignés - Barèmes et tarifs Questionnement - Catégories de - Contrôle qualité - Équilibrage de Performances a priori l’épreuve - Priorités 8. Macro régu- 4. Entraîn e ment lation (recueil des avis des étudiants) 6. Correction et 7. Feed-back 5. Epreuve discussion aux exam i nés - préparation du - FB « matières », - performances matériel, des « processus - analyse des l o caux, consignes me n taux » et pr o positions, - vérification du « métacognitifs » contrôle qualité a timing - infos sur posteriori : r pbis, - procédures anti- l’analyse des rectific a tions questions fraude Un cycle de réalisation des évaluations en 8 étapes : Cycle SMART de réalisation des évaluations (Gilles & Leclercq, 1996) Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  12. Méthodologie « SMART » 8 étapes Plus d'une trentaine de procédures "qualité" EEEVI BVE TVI (Gilles & Leclercq, 1995) Un modèle de construction et de gestion de la qualité des évaluations : Une série de dispositifs technologiques Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  13. Méthodologie « SMART » 8 étapes Plus d'une trentaine de procédures "qualité" EEEVI BVE TVI (Gilles & Leclercq, 1996) Un modèle de construction et de gestion de la qualité des évaluations : 7ème étape : Feedbacks aux étudiants  Précis Rapides Diagnostiques Individualisés Accessibles via internet Une série de dispositifs technologiques Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  14. Développements SMART en vue d’améliorer la qualité des rétroactions EPREUVES STANDARDISEES

  15. Développements SMART en vue d’améliorer la qualité des rétroactions Exemple de QCM : (Castaigne & Hanzen, 2000) Cette échographie de l’ovaire gauche d’une vache pie noire de 6 ans, a été réalisée une semaine après l’oestrus.Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact 6. Aucune 7. Toutes Exemple d’échelle de pourcentages de certitude (Leclercq, 1986) 3,9 cm 2,8 cm Exemple de recueil des données pour une lecture automatisée des réponses et certitudes : (SMART-ULg, 1996) 1,5 cm 0,6 cm Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  16. Développements SMART en vue d’améliorer la qualité des rétroactions www.smart.ulg.ac.be Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  17. Développements SMART en vue d’améliorer la qualité des rétroactions Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  18. Développements SMART en vue d’améliorer la qualité des rétroactions Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  19. Développements SMART en vue d’améliorer la qualité des rétroactions Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  20. Développements SMART en vue d’améliorer la qualité des rétroactions Descriptif de l’évaluation Données de base Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  21. Développements SMART en vue d’améliorer la qualité des rétroactions Score global Résultats par processus mentaux Résultats par rubriques matières Aide à l’interprétation Questionnaire de l’examen Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  22. Problématique Questionnaire de l’examen Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  23. Développements SMART en vue d’améliorer la qualité des rétroactions Informations relatives à la question 4 question 29 Données de base Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  24. Développements SMART en vue d’améliorer la qualité des rétroactions Résultats par processus mentaux Exemples : Connaître les concepts de mémoire Appliquer les concepts Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  25. Développements SMART en vue d’améliorer la qualité des rétroactions Par exemple, des chapitres du cours… Résultats par Rubriques matières Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  26. Développements SMART en vue d’améliorer la qualité des rétroactions Diagnostic : les corps jaunes Diagnostic : les follicules Diagnostic : les kystes Diagnostic : les tumeurs Résultats par Rubriques matières Par exemple, des chapitres du cours… Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  27. Développements SMART en vue d’améliorer la qualité des rétroactions Aide à l’interprétation Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  28. Développements SMART en vue d’améliorer la qualité des rétroactions Aide à l’interprétation Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  29. Développements SMART en vue d’améliorer la qualité des rétroactions Tendance à se surestimer… Aucune utilisation des degrés de certitude 0, 1 et 5. Lorsque les pourcentages de certitude sont utilisés… Feedback métacognitif Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  30. Quelques résultats concernant l’utilisation des feedbacks via internet • Depuis 2002-2003, • le système des feedbacks via internet du SMART • a été utilisé à l’occasion de 112 évaluations (en moyenne174 étudiants par épreuve) • par 36 professeurs (en moyenne 3 tests par prof.) : • 28 de l’ULg ; • 3 des FUSAGx ; • 3 de Hautes Ecoles (Rennequin Sualem, ICHEC et HEC) ; • 1 de l’UCL ; • 1 des FUNDP. Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  31. Quelques résultats concernant l’utilisation des feedbacks via internet Traçage des consultations par les étudiants et stockage des informations dans une base de données Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  32. Quelques résultats concernant l’utilisation des feedbacks via internet • Consultation des feedbacks via internet • par les étudiants : • En 2002 : 3.370 consultations • En 2003 : 7.735 consultations Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  33. Les pics d’utilisation ne sont pas les mêmes à l’ULg et en dehors de l’ULg… pics de consultations hors l'ULg pics de consultations à l'ULg * ULg hors ULg * Étudiants del’ULguniquement Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  34. Développements SMART en vue d’améliorer la qualité des rétroactions … il faudrait revoir la façon dont les résultats sont présentés … …l’interprétation des résultats n’est pas du tout évidente à faire. …plus de professeurs devraient utiliser le système des feedbacks via internet . Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  35. Développements SMART en vue d’améliorer la qualité des rétroactions C’est peut être un moyen indirect permettant de réussir … …je le vois plus comme un outil permettant de nous situer par rapport aux exigences du professeur et de combler un retard éventuel par le travail. C’est un bon moyen de se rendre compte des erreurs faites.  Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  36. Perspectives Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  37. Les feedbacks via internet sont consultables en démonstration à cette adresse : http://www.smart.ulg.ac.be/fb.php Analyse d’un dispositif innovant d’ingénierie docimologique permettant aux étudiants d’obtenir des feedbacks individualisés et diagnostiques via le web après une épreuve standardisée en amphithéâtre–XIVème Congrès de l’Association Mondiale des Sciences de l’Education (AMSE) – 10 au 14 mai 2004–Jean-Luc GILLES

  38. Si vous souhaitez plus d’informations ou utiliser le système des feedbacks via internet, n’hésitez pas à prendre contact : smart@ulg.ac.be http://www.smart.ulg.ac.be

More Related