Jean-Loup Castaigne 1 & Jean-Luc Gilles 2

OGA FAPSE Application du cycle gestion qualité S.M.A.R.T. des tests pédagogiques dans le cours d’Obstétrique et de Pathologie de la Reproduction des ruminants, équidés et porcins Jean-Loup Castaigne1 & Jean-Luc Gilles2 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, ULg Prof. C. Hanzen 2 Service de Technologie de l’Éducation & S.M.A.R.T., FAPSE, ULg Prof. D. Leclercq

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMIen amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 1. Analyse de l ’enseignement Points Enseignés, Catégories de Performances 2.Mise en forme de l ’épreuve Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes) 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMIen amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq, 1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1. Analyse de l ’enseignement • 1.1 Définir les Points Enseignés [PE] • Isoler chaque module assez important pour justifier d ’une évaluation et en quantifier l ’importance • 1.2 Définir les Catégories de Performance [CP] • Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? • 1.3 Relier les Points Enseignés et les Catégories de Performance [PE x CP] • Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1.1 Définir les Points Enseignés[PE] 1. Analyse de l ’enseignement Isoler chaque module assez important pour justifierd ’une évaluation et en quantifier l ’importance Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1. Analyse de l ’enseignement 1.2 Définir les Catégoriesde Performance [CP] Quelles sont les mesures que l ’enseignant va prendre lors de l ’évaluation de l ’apprenant ? Exemples Cp en OGA Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

1. Analyse de l ’enseignement 1.3 [PExCP] Les 6 catégories de performances choisies par l ’enseignant sont affichées Pour ce PE (4.8) , l’enseignant choisit ces 2 catégories de performances. Donc il devra envisager des questions sur laconnaissance et la compréhension. Relier les Points Enseignés et les Catégories de Performance Pour chaque PE défini, quelle CP permettra d ’en apprécier la bonne transmission vers l ’apprenant ? C ’est le premier binôme. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

2.Mise en forme de l ’épreuve Création des trinômes Il existe des • Catégories de Questionnement : « VF », « QCM », « QROC », ... Les binômes [PE x CP] de l’analyse de l’enseignement sont croisés avec les binômes [CP x MQ] • Catégories de Conditions : « ...avec degrés de certitude », « ...à livre ouvert », ... …Qui vont permettre de définir des Modalités de Questionnement(MQ) exemple : « QCM avec degrés de certitude » Les MQ peuvent être reliés aux Catégories de Performances et former des binômes : [CP x MQ] exemple : « mesurer la compréhension à l’aide de QCM avec degrés de certitude » … ce qui donne une liste de trinômes : [PE x CP x MQ] Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

2.Mise en forme de l ’épreuve 2.1 [CP x MQ] [MQ] [CP] Exemple de binôme [CP x MQ] : Création des Modalités de Questionnement [MQ] & assemblage des binômes [CP x MQ] • Quelles modalités de questionnement utiliser ou ne jamais utiliser ? • Relier la Catégorie de Performance [CP] recherchée chez l ’étudiant avec la/les Modalité(s) de Questionnement [MQ] choisie(s). Exemples SGI en OGA Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

2.Mise en forme de l ’épreuve Répartition des CP par MQ Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

2.Mise en forme de l ’épreuve Importance des PE Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

3.Construction des Questions 3,9 cm 2,8 cm 1,5 cm 0,6 cm SMART a créé une liste de trinômes à retrouver dans les questions qui composeront cette évaluation. À l ’enseignant de rédiger ou choisir les questions qui correspondent à ces trinômes. 1) conseils méthodologiques 2) choix parmi les références des Questions Cette échographie de l ’ovaire gauche d ’une vache pie noire de 6 ans, a été réalisée une semaine après l ’oestrus.Votre diagnostic : 1. Un follicule de de Graaf 2. Un kyste folliculaire 3. Un Corps Jaune 4. Un Corps Jaune Cavitaire 5. Un artefact PE : 1.6.3. CP : analyse MQ : QCM SGI DC RC : 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMIen amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Gilles & Leclercq ,1995 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

4. Entraînement des étudiants on line : TIMI (correction)en amphi : Formuloms (exemple), BVE, ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

5. Mise en œuvre de l ’épreuve Matériel &Timing & procédure anti-fraude Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

6. Correction de l ’épreuve On-line : DC, sévérité (en savoir +), r.bis (en savoir +), r.bis spectral (en savoir +),r.bis spectral turbo (en savoir +), réalisme (en savoir +), ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

7. Feedback aux étudiants 1. Sévérité de 20 (sévérité) 2. Retrait d ’une QCM à cause de son r.bis (r.bis) 3. Correction en amphithéâtre des questions ayant posé un problème (3 sur 15) Présentation et analyse sommaire des résultats Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

8. Régulation du processus Cycle gestion qualité S.M.A.R.T. des tests pédagogiques 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Indices de Qualité 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMIen amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

8. Régulation du processus Régulation en OGA • Boucle de régulation1 (revoir boucles de régulation) • Courte : R5 : Mesure ajustée par retrait d ’une QCM • Longue : R3 : mise à jour de la banque de QCM • R2 : Nouveaux projets d ’évaluation EvalEns2 : d ’après les étudiants: 1. Le mode d ’évaluation le plus adéquat :examen écrit rédigé > examen oral > QCM (sans SGI ni DC) 2. Un seul test global est insuffisant 3. Il faut des tests pendant l ’année dont le rôle serait : modérer un problème à l ’oral > auto-évaluation > 25 % de la cote finale • Pour l ’an prochain et les années suivantes... : • 1 BEV sur les prérequis avec mise à niveau immédiate • 5 LQRT dont les 3 best sont sanctionnant (20% du cours) • PARM sur base de volontariat (maximum 10% du cours) • autres solutions pour étudiants n ’ayant pas accès au PARM 1Leclercq, 1999, Chap 1, p 4 2Leclercq, 1999, Chap 1, p 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cycle gestion qualité S.M.A.R.T. des tests pédagogiques OGA FAPSE 2.Mise en forme de l ’épreuve 1. Analyse de l ’enseignement Modalités de Questionnement, assemblageet équilibrage (binômes & trinômes) Points Enseignés, Catégories de Performances 3.Construction des Questions Des Questions ? Indices de Qualité 8. Régulation du processus 4. Entraînement des étudiants Recueil et analyse des avis des étudiants, propositions d ’améliorations 7. Feedback aux étudiants on line : TIMIen amphi : BVE ou Formuloms On-line ou en amphi 5. Mise en œuvre de l ’épreuve 6. Correction de l ’épreuve Matériel, Timing, procédures anti-fraude On-line : DC, sévérité, réalisme, r.bis, ... Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

OGA FAPSE Adresses Jean-Luc Gilles2 Tél : 04 / 366 20 78 eMail : jl.gilles@ulg.ac.be http://139.165.55.45/smart/ Jean-Loup Castaigne1 Tél : 04 / 366 41 72 http://www.fmv.ulg.ac.be/oga/index.html 1 Service d ’Obstétrique et Pathologie de la Reproduction des ruminants, équidés et porcs et pathologie de la mamelle de la vache laitière, FMV, Ulg — Prof. C. Hanzen (Christian.Hanzen@ulg.ac.be) 2 Service de Technologie de l’Éducation & S.M.A.R.T., FAPSE, Ulg — Prof. D. Leclercq (D.Leclercq@ulg.ac.be) Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Plan des annexes • Boucle de régulation • Cohérence • Correction dans TIMI • CP en QCM pour OGA • Formuloms • r.bis • r.bis spectral • r.bis spectral turbo • Réalisme • Sévérité • SGI en OGA • Taux d ’exactitude et réalisme Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple QCM recognition Le diamètre normal des cornes utérines d ’une vache ou d ’une génisse non gestante est 1. De 2,5 à 4 cm 2. De 1 à 2 cm 3. De 4 à 7 cm Réponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM compréhension Au cours du pro œstrus, l ’utérus de la bête bovine s ’œdèmatie ce le qui rend à la palpation transrectale : 1. Plus ferme 2. Plus tonique 3. Plus flasque Réponse correcte : 1 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

3mm 4,3 cm Exemple de QCM : application Lors de l ’examen échographique d ’une vache pie noire de 3 ans, vous mettez en évidence sur l ’ovaire droit : une structure anéchogène d ’une taille supérieure à 3 cm, à paroi mince (inférieure à 5 mm). • Votre diagnostic le plus probable sera : • 1. Un corps jaune cavitaire • 2. Un kyste folliculaire ou lutéal • 3. Un follicule • 4. Une tumeur 1 Réponse correcte : 2 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI Par rapport au testicule gauche, le testicule droit d ’une génisse est 1. Plus grand 2. Plus petit 3. De même taille Une absurdité ou une contre-vérité (une génisse possède des ovaires, non des testicules) dans l ’énoncé rend toute la question sans objet : réponse 9 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI De combien d ’ovaire(s) est équipée une génisse BBB normalement constituée 1. Zéro 2. Quatre 3. Six Aucune des solutions proposées n ’est correcte puisque comme toutes les femelles mammifères, elle a 2 ovaires : réponse 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI L ’utérus d ’une vache normalement constituée comprend : 1. Le col 2. Le corps 3. Les cornes Toutes les solutions proposées sont correctes simultanément : réponse 7 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Exemple de QCM SGI Le taux d ’œstrogènes en pg/mL d ’une vache est : 1. inférieur à 100 2. 150 3. supérieur à 200 Il est impossible de répondre parce que l ’information (au moins une donnée : le moment dans le cycle) nécessaire manque dans l ’énoncé de la question : réponse 8 2 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Analyses des réponses • Taux d’exactitude : • 9 bonnes réponses sur 14 questions, soit 64 % • Score DC : • 140 / 280 soit 50 % 4 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Boucle de Régulation Leclercq, 1999, Chap 1, p 4 Analyses des besoins Boucleslongues Définition du projet Conception Planification Exécution Mesure Action Bouclescourtes Rétroaction 8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Les feuilles réponses Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

En cas d ’erreur 4 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Graphe de réalisme Boxus, 1991 SOUS 6 SUR Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

4 Q dont 2 RC 20 Q dont 10 RC Réalisme = 0,759 Réalisme = 0,961 Taux d ’exactitude & Réalisme Boxus, 1991 Taux d ’exactitude de 50% Réalisme 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Cohérence Boxus, 1991 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

d Indice de cohérence entre la question et le test r.bis Leclercq, 1999, chap 10, p 44-53 Quantitatif :pq Qualitatif : Mx-Ma /  r.bis = (Mx-Ma / )(pq) En ordonnées réduites (y = p distribué normalement) r.bis = (Mx-Ma / )(pq / y) r pcq coefficient de corrélation Bisérial pcq 1 variable réparti la population en 2 séries . pcq dichotomie vraie (RC ou RI) Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

r.bis en pratique 15 questions : r.bis repère = 0,33 14 questions : r.bis repère = 0,27 6 Suite au retrait de la QCM 10, toutes les autres QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la QCM 5 qui a perdu 0,3. Cette QCM restera telle quelle grâce à la valeur du r.bis de la SGI 8 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Score réajusté = score20 * 20 sévérité Max = 15 Max = 20 Max = 25 13 10 7 Sévérité = 20 Sévérité = 16 Sévérité = 18 13 10 7 Sévérité Leclercq, 1993 7 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

r.bis spectral Adapté de Leclercq, 1999, chap 10, p 44-53 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Échelle des DC Valeur Centrale r.bis spectralturbo Adapté de Leclercq, 1999, et Boxus, 1991 Taux d ’Exactitude (revoir dia TE) Écart entre TE et VC 6 Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Objectifs qualité du SMART • La validité : les scores des étudiants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants de l’enseignement (validité de contenu) ; • La fidélité : la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ; • La sensibilité : la mesure doit être précise, refléter des phénomènes subtils ; • La « diagnosticité » : les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ; • L’équité : tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ; • La « praticabilité » : la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l ’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ; • La « communicabilité » : les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves. Castaigne & Gilles, S.M.A.R.T. - O.G.A., ULG FORM@SUP, mai 2000

Jean-Loup Castaigne 1 & Jean-Luc Gilles 2