1 / 26

Plan

Un Formalisme de Description de Questionnaires pour l ’Evaluation Fabrice Issac - Olivier Hû Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France fabrice.issac@utc.fr ; olivier.hu@utc.fr. Plan. La place du questionnaire

steve
Download Presentation

Plan

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Un Formalisme de Description de Questionnaires pour l ’EvaluationFabrice Issac - Olivier HûUniversité de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, Francefabrice.issac@utc.fr ; olivier.hu@utc.fr Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  2. Plan • La place du questionnaire • Nos objectifs : un formalisme et des outils • Etat de l ’art provisoire • Les possibilités de QML • La chaîne éditoriale complète • Conclusion Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  3. La place du Questionnaire Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • L ’Outil d ’évaluation par excellence : • universellement utilisé • facile à mettre en place • facile à utiliser • Des inconvenients : • capitalisation « à la main » • correction souvent fastidieuse • prédominance du modèle linéaire • type de critère d ’évaluation restreint Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  4. Nos Objectifs Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un formalisme : • Capitalisation • Automatisation • Dynamisme • Des outils : • pour l ’exportation • pour la conception • pour l ’édition Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  5. Etat de l ’art provisoire Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • TML : • Questions fermées, réponse unique, juste/faux, avec aide et renforcement • Calculs : f(réponse, nombre d ’essai, indices) • Bodenreider & Kohler (TML+) : • Question suivante en fonction de la réponse • Paramètres d ’édition • TACO (serveur Web) : • Questions fermées, réponse unique, juste/faux, essentielle ou pas. • Calculs : f(réponse, pondération) • QuizCode (projet Ariadne) • Environnement complet • Basé sur un formalisme (type XML) • Questions variées : ouvertes, graphiques etc. Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  6. Etat de l ’art provisoire Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Limites : • des réponses booléennes • hormis Quizcode, des questions essentiellement textuelles • l ’influence des réponses est limitée • des résultats numériques • structure du questionnaire, au mieux, arborescente Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  7. rep1 Question ? rep2 rep3 Question ? Question ? rep1 rep2 Autre : Les Possibilités de QML :les Types de Questions Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Fermée/Ouverte/Mixte Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  8. Vrai Question ? Faux Quelles sont les… ? Rep1 Rep2 Rep3 Rep4 Les Possibilités de QML :les Types de Questions Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Fermée/Ouverte/Mixte • Nombre de réponses attendues variable Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  9. rep1 0 /20 Question ? rep2 20 /20 rep3 10 /20 Les Possibilités de QML :les Types de Questions Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Fermée/Ouverte/Mixte • Nombre de réponses attendues variable • Avec degré de justesse Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  10. Les Possibilités de QML :les Types de Questions Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Fermée/Ouverte/Mixte • Nombre de réponses attendues variable • Avec degré de justesse • Multimédia (dans la formulation) Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  11. Q1 = 20 /20 Q2 = 0 /20 Q3 = 0 /20 Q4 = 10 /20 Poids = 1 3 3 Note 1 Les Possibilités de QML :les Résultats associés Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Valeurs numériques avec pondération Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  12. Rapport Critère…: - Il n ’y a pas de … - Attention à … … Rq: - Ne pas oublier de... Les Possibilités de QML :les Résultats associés Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Valeurs numériques avec pondération • Textuels : vers l ’édition d ’un rapport Q1. Il n ’y a pas de … Q2. Rq : Ne pas oublier de … Q3. Attention à ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  13. Les Possibilités de QML :les Résultats associés Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Valeurs numériques avec pondération • Textuels : vers l ’édition d ’un rapport • Réactions : résultats fournis au moment de la validation de la réponse Indice Renforcement Orientation Signal visuel ou sonore ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  14. C C C P=1 21 23 22 P=3 … … Q 221 Q 222 Q 223 … Les Possibilités de QML :les Résultats associés Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Valeurs numériques avec pondération • Textuels : vers l ’édition d ’un rapport • Réactions : résultats fournis au moment de la validation de la réponse • Influences : adaptation dynamique Question : Avez-vous…? Réponses : Proposition 1 Proposition 2 ... Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  15. Q1 L1 SQ11 SQ12 Réponse 1 Réponse 2 Q1 Q1 L1 L1 SQ11 SQ12 SQ11 SQ12 Les Possibilités de QML :une Adaptation dynamique Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Modification du parcours Structure initiale : - 1 sous question par défaut : Lien 1 - 2 sous questions possibles Exemple d ’évolution avec 2 possibilités de réponses : Influence locale ou globale Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  16. C1 C1 Q1 Q1 Q1 C1 C3 Q2 Q2 Q2 Q3 Q3 Q3 C2 C2 Les Possibilités de QML :une Adaptation dynamique Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Modification du parcours • Modification des calculs Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  17. Les Possibilités de QML :la Gestion du Parcours Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Nombre d ’essais 1 réponse = validation n modifications autorisées Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  18. Les Possibilités de QML :la Gestion du Parcours Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Nombre d ’essais • Question bloquante La validation n’est activé,et la question suivante posée,que si la bonne réponse est donnée. Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  19. Les Possibilités de QML :la Gestion du Parcours Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Nombre d ’essais • Question bloquante • Gestion du temps Temps limite pour répondre. Réponse ‘ time-out ’ Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  20. Auteurs Outil d ’aideà la conception La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un Outil d ’aide à la conception Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  21. Auteurs Questions Calculs Outil d ’aideà la conception Règles Edition Ergonomie La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un Outil d ’aide à la conception • Une capitalisation couplée à une base de règles ergonomiques Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  22. Auteurs Utilisateurs Editeurs Sortie : - papier - site Web - ... Questions Calculs Outil d ’aideà la conception Outil d ’aideà l ’édition Règles Edition Ergonomie La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un Outil d ’aide à la conception • Une capitalisation couplée à une base de règles ergonomiques • Un Outil d ’aide à l ’édition Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  23. Auteurs Utilisateurs Editeurs Sortie : - papier - site Web - ... Questions Calculs Outil d ’aideà la conception Outil d ’aideà l ’édition Règles Edition Ergonomie Correcteurs La Chaîne Editorial complète Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un Outil d ’aide à la conception • Une capitalisation couplée à une base de règles ergonomiques • Un Outil d ’aide à l ’édition • Un Outil d ’aide à la correction ? Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  24. Prototype Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un outil de génération automatique sur le Web • tout type de questions • adaptions et parcours dynamiques • calculs contextuels Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  25. Conclusion Questionnaire Objectifs Etat de l’art Possibilités Chaîne Prototype Conclusion • Un formalisme puissant mais qui peut être complété : • notion de famille de questions • possibilités de traitements des réponses : pointage graphique, lancement de TAL sur questions ouvertes… • tout besoin nouveau… avec ses propres balises • Un développement « propre » des applications : • étude des tâches des utilisateurs • interface à manipulation directe • mises en place de passerelles Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

  26. Un Formalisme de Description de Questionnaires pour l ’EvaluationFabrice Issac - Olivier HûUniversité de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, Francefabrice.issac@utc.fr ; olivier.hu@utc.fr Merci de votre attention Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

More Related