290 likes | 403 Views
L’analyse de logiciels de formation :. entre critériologie descriptive et nécessaire subjectivité Olivier Hû - Philippe Trigano Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France olivier.hu@utc.fr ; philippe.trigano@utc.fr. Plan.
E N D
L’analyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivitéOlivier Hû - Philippe TriganoUniversité de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, Franceolivier.hu@utc.fr ; philippe.trigano@utc.fr Nom de l'intervenant - Titre de l'intervention
Plan • Les sources des critères d ’analyse • La nécessité d ’une structuration adaptative • La nécessité de prise en compte de la subjectivité • La confrontation entre subjectivité humaine et évaluation analytique • Notre prototype • Validations • Perspectives • Conclusions Nom de l'intervenant - Titre de l'intervention
Les sources des critères d’analyse Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Les Sources : • Les Normes • Les Guides de style • Les Critériologies et Ontologies des domaines • D ’où un grand nombres de recommandations : • A tous les niveaux de détails : directives, critères, recommandations… • Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie… Nom de l'intervenant - Titre de l'intervention
Les sources des critères d’analyse… en ergonomie Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Normes : • Norme ISO/WD 9241 • Accessibilité W3C WAI ATAG / UAAG / WCAG • Guide de style : • Windows Interface Guidelines For Software Design • OSF Motif Style Guide • Mac OS 8 Human Interface Design Apple • Recueils de recommandations et critériologies : • J. Vanderdonckt - Guide ergonomique des IHM. • D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems. • International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM... Nom de l'intervenant - Titre de l'intervention
Les sources des critères d’analyse… en multimédia Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Questionnaire NUMI • J. Ziegler - Standards for Multimedia User Interfaces • Les normes d ’édition • Musicologie (Chion M.), Photographies… pour le Web WAMMI (Website Analysis MeasureMent Inventory) WebSAT Projet EvalWeb (INRIA, LIHS Toulouse,UCL) Nom de l'intervenant - Titre de l'intervention
Les sources des critères d’analyse… en pédagogie Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • La norme RIP : critères pédagogiques, critères techniques, critères juridiques • Le questionnaire d ’évaluation METANE • A l ’intérieure de différentes méthodes ou ouvrages (MEDA…) Nom de l'intervenant - Titre de l'intervention
Les sources des critères d’analyse… conséquences Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un très (trop) grand nombre de recommandations • Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation… • Un temps d ’évaluation long • Pas besoin de toutes les recommandations tout le temps Nom de l'intervenant - Titre de l'intervention
La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Nom de l'intervenant - Titre de l'intervention
Q1 Q2 Q3 Q4 1 3 3 Criterion mark 1 La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Nom de l'intervenant - Titre de l'intervention
P=1 P=3 C C C 21 23 22 … … Question : Avez-vous…? Réponses : Proposition 1 Proposition 2 ... Q 221 Q 222 Q 223 … La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique Nom de l'intervenant - Titre de l'intervention
Do you see this default ? always often sometimes never La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués Nom de l'intervenant - Titre de l'intervention
La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un parcours synchrone • Une pondération adaptable • Une adaptation dynamique • Des calculs évolués Une évaluation toujours incomplète Nom de l'intervenant - Titre de l'intervention
La nécessité de prendre en compte la subjectivité Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un contexte complexe : plaisir d’utilisation, motivation, empathie… • Des compétences hétérogènes des enseignants • Pouvoir confronter les a priori de l ’évaluateur • Détecter des défauts ressentis et non formulés Nom de l'intervenant - Titre de l'intervention
La nécessité de prendre en compte la subjectivité Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel • Une capitalisation • Une description « neutre » • Deux exploitations futures : • des impressions « calculées » • une description du public cible Nom de l'intervenant - Titre de l'intervention
La nécessité de prendre en compte la subjectivité Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Les Impressions Générales • Une Notation Instinctives • Une Profondeur d’Analyse Variable Nom de l'intervenant - Titre de l'intervention
La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Le résultat doit être vu comme une proposition : • sa qualité est de la responsabilité de l ’évaluateur • il permet de confronter son opinion à la vision analytique • la méthode aide et ne remplace pas l ’évaluateur Nom de l'intervenant - Titre de l'intervention
Help Vers un apprentissage de l ’évaluation La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l ’évaluation Explanation Reformulation Exemples Theory Nom de l'intervenant - Titre de l'intervention
Notes Instinctives +10 C 2 C C C 21 23 22 … … -9 -10 -8 La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l ’évaluation Un indice de cohérence La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants Nom de l'intervenant - Titre de l'intervention
Pondérée par Indice de cohérence La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l ’évaluation Un indice de cohérence Une proposition de note « intelligente » Note Calculée Note Instinctive Proposition de résultat Nom de l'intervenant - Titre de l'intervention
La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Une aide à l ’évaluation • Un indice de cohérence • Une proposition de note « intelligente » • Vers un rapport descriptif Génération de descriptions Commentaires Rapport descriptif Notes finales Rapport final d ’évaluation Nom de l'intervenant - Titre de l'intervention
Notre prototype Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Nom de l'intervenant - Titre de l'intervention
Notre prototype Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Note instinctive Impressions Générales Nom de l'intervenant - Titre de l'intervention
Notre prototype Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Proposition de note finale Nom de l'intervenant - Titre de l'intervention
Validations Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Des cycles de conceptions avec des étudiants de second cycle : • Une cinquantaine d’étudiants pour une trentaine de logiciels • Usage réel • Recueil d’informations sur l’usage du prototype par des enseignants ou des experts • Observation sur le terrain • Observation de l’usage de différents logiciels par une classe de cm2 • Une confrontation avec les concepteurs Nom de l'intervenant - Titre de l'intervention
Validations Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Impressions Générales : • Terrain : bonne prédiction de l ’adéquation public/logiciel • Concepteurs : retour sur la population cible • Le Questionnaire : • Terrain : bonne détection des erreurs ergonomiques • Concepteurs : vision clinique multicompétence • Notes Instinctives / Calculées : • Terrain : investissement et apprentissage de l’évaluateur • Concepteurs : priorité de développement Nom de l'intervenant - Titre de l'intervention
Perspectives : Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Utilisabilité du prototype • Présentation des résultats • Ordonnancement des critères • Portabilité de la méthode à d’autres questionnaires Nom de l'intervenant - Titre de l'intervention
Perspectives : (M)-1 Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un outil d ’aide à la conception • La même base de critères que EMPI • Génération d ’un « cahier des charges » Perspectives : QML Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports Nom de l'intervenant - Titre de l'intervention
Conclusions Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • La base de recommandations est riche en taille et en diversité • Ne jamais oublier le contexte humain • Une instrumentation plus qu’une automatisation Nom de l'intervenant - Titre de l'intervention
L’analyse de logiciels de formation :entre critériologie descriptive et nécessaire subjectivitéOlivier Hû - Philippe Triganoolivier.hu@utc.fr ; philippe.trigano@utc.fr Merci de votre attention Nom de l'intervenant - Titre de l'intervention