L’analyse de logiciels de formation :

1. L’analyse de logiciels de formation : entre critériologie descriptive et nécessaire subjectivitéOlivier Hû - Philippe TriganoUniversité de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, Franceolivier.hu@utc.fr ; philippe.trigano@utc.fr Nom de l'intervenant - Titre de l'intervention

2. Plan • Les sources des critères d ’analyse • La nécessité d ’une structuration adaptative • La nécessité de prise en compte de la subjectivité • La confrontation entre subjectivité humaine et évaluation analytique • Notre prototype • Validations • Perspectives • Conclusions Nom de l'intervenant - Titre de l'intervention

3. Les sources des critères d’analyse Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Les Sources : • Les Normes • Les Guides de style • Les Critériologies et Ontologies des domaines • D ’où un grand nombres de recommandations : • A tous les niveaux de détails : directives, critères, recommandations… • Dans tous les thèmes : ergonomie, documents multimédias, génie logiciel, pédagogie… Nom de l'intervenant - Titre de l'intervention

4. Les sources des critères d’analyse… en ergonomie Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Normes : • Norme ISO/WD 9241 • Accessibilité W3C WAI ATAG / UAAG / WCAG • Guide de style : • Windows Interface Guidelines For Software Design • OSF Motif Style Guide • Mac OS 8 Human Interface Design Apple • Recueils de recommandations et critériologies : • J. Vanderdonckt - Guide ergonomique des IHM. • D. Scapin - Ergonomic criteria for evaluating the ergonomic quality of interactive systems. • International Journal of HCI ; TFWWG ; CADUI ; ERGO-IA ; IHM... Nom de l'intervenant - Titre de l'intervention

5. Les sources des critères d’analyse… en multimédia Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Questionnaire NUMI • J. Ziegler - Standards for Multimedia User Interfaces • Les normes d ’édition • Musicologie (Chion M.), Photographies… pour le Web WAMMI (Website Analysis MeasureMent Inventory) WebSAT Projet EvalWeb (INRIA, LIHS Toulouse,UCL) Nom de l'intervenant - Titre de l'intervention

6. Les sources des critères d’analyse… en pédagogie Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • La norme RIP : critères pédagogiques, critères techniques, critères juridiques • Le questionnaire d ’évaluation METANE • A l ’intérieure de différentes méthodes ou ouvrages (MEDA…) Nom de l'intervenant - Titre de l'intervention

7. Les sources des critères d’analyse… conséquences Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un très (trop) grand nombre de recommandations • Un travail de ré-écriture nécessaire : Structuration, Granularité, Reformulation, Hiérarchisation… • Un temps d ’évaluation long • Pas besoin de toutes les recommandations tout le temps Nom de l'intervenant - Titre de l'intervention

8. La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Nom de l'intervenant - Titre de l'intervention

9. Q1 Q2 Q3 Q4 1 3 3 Criterion mark 1 La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Nom de l'intervenant - Titre de l'intervention

10. P=1 P=3 C C C 21 23 22 … … Question : Avez-vous…? Réponses : Proposition 1 Proposition 2 ... Q 221 Q 222 Q 223 … La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique Nom de l'intervenant - Titre de l'intervention

11. Do you see this default ? always often sometimes never La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Un parcours synchrone Une pondération adaptable Une adaptation dynamique Des calculs évolués Nom de l'intervenant - Titre de l'intervention

12. La nécessité d’une structuration adaptative Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un parcours synchrone • Une pondération adaptable • Une adaptation dynamique • Des calculs évolués Une évaluation toujours incomplète Nom de l'intervenant - Titre de l'intervention

13. La nécessité de prendre en compte la subjectivité Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un contexte complexe : plaisir d’utilisation, motivation, empathie… • Des compétences hétérogènes des enseignants • Pouvoir confronter les a priori de l ’évaluateur • Détecter des défauts ressentis et non formulés Nom de l'intervenant - Titre de l'intervention

14. La nécessité de prendre en compte la subjectivité Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Les Impressions Générales Rassurant / Déconcertant Luxuriant / Sobre Ludique / Académique Actif / Passif Simple / Complexe Innovant / Traditionnel • Une capitalisation • Une description « neutre » • Deux exploitations futures : • des impressions « calculées » • une description du public cible Nom de l'intervenant - Titre de l'intervention

15. La nécessité de prendre en compte la subjectivité Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Les Impressions Générales • Une Notation Instinctives • Une Profondeur d’Analyse Variable Nom de l'intervenant - Titre de l'intervention

16. La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Le résultat doit être vu comme une proposition : • sa qualité est de la responsabilité de l ’évaluateur • il permet de confronter son opinion à la vision analytique • la méthode aide et ne remplace pas l ’évaluateur Nom de l'intervenant - Titre de l'intervention

17. Help Vers un apprentissage de l ’évaluation La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l ’évaluation Explanation Reformulation Exemples Theory Nom de l'intervenant - Titre de l'intervention

18. Notes Instinctives +10 C 2 C C C 21 23 22 … … -9 -10 -8 La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l ’évaluation Un indice de cohérence La cohérence de l ’évaluateur entre un niveau et les niveaux inférieurs correspondants Nom de l'intervenant - Titre de l'intervention

19. Pondérée par Indice de cohérence La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Une aide à l ’évaluation Un indice de cohérence Une proposition de note « intelligente » Note Calculée Note Instinctive Proposition de résultat Nom de l'intervenant - Titre de l'intervention

20. La confrontation entre subjectivité humaine et évaluation analytique Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Une aide à l ’évaluation • Un indice de cohérence • Une proposition de note « intelligente » • Vers un rapport descriptif Génération de descriptions Commentaires Rapport descriptif Notes finales Rapport final d ’évaluation Nom de l'intervenant - Titre de l'intervention

21. Notre prototype Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Nom de l'intervenant - Titre de l'intervention

22. Notre prototype Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Note instinctive Impressions Générales Nom de l'intervenant - Titre de l'intervention

23. Notre prototype Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions Proposition de note finale Nom de l'intervenant - Titre de l'intervention

24. Validations Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Des cycles de conceptions avec des étudiants de second cycle : • Une cinquantaine d’étudiants pour une trentaine de logiciels • Usage réel • Recueil d’informations sur l’usage du prototype par des enseignants ou des experts • Observation sur le terrain • Observation de l’usage de différents logiciels par une classe de cm2 • Une confrontation avec les concepteurs Nom de l'intervenant - Titre de l'intervention

25. Validations Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Impressions Générales : • Terrain : bonne prédiction de l ’adéquation public/logiciel • Concepteurs : retour sur la population cible • Le Questionnaire : • Terrain : bonne détection des erreurs ergonomiques • Concepteurs : vision clinique multicompétence • Notes Instinctives / Calculées : • Terrain : investissement et apprentissage de l’évaluateur • Concepteurs : priorité de développement Nom de l'intervenant - Titre de l'intervention

26. Perspectives : Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Utilisabilité du prototype • Présentation des résultats • Ordonnancement des critères • Portabilité de la méthode à d’autres questionnaires Nom de l'intervenant - Titre de l'intervention

27. Perspectives : (M)-1 Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • Un outil d ’aide à la conception • La même base de critères que EMPI • Génération d ’un « cahier des charges » Perspectives : QML Un formalisme de description Gérer toutes les caractéristiques de la méthode Produire le questionnaire sur différents supports Nom de l'intervenant - Titre de l'intervention

28. Conclusions Les sources Adaptation Subjectivité Confrontation Prototype Validations Perspectives Conclusions • La base de recommandations est riche en taille et en diversité • Ne jamais oublier le contexte humain • Une instrumentation plus qu’une automatisation Nom de l'intervenant - Titre de l'intervention

29. L’analyse de logiciels de formation :entre critériologie descriptive et nécessaire subjectivitéOlivier Hû - Philippe Triganoolivier.hu@utc.fr ; philippe.trigano@utc.fr Merci de votre attention Nom de l'intervenant - Titre de l'intervention