RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal

1. Équipe d'ingénierie de l’interaction homme machine Laboratoire CLIPS-IMAG, Grenoble RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier

2. Introduction • Multimodalité étudiée avec un utilisateur fixe  Quel usage en contexte mobile? • Projet en collaboration avec France Telecom • Conception et developpement d’un système mobile et multimodal • Évaluation ergonomique du système

3. Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion

4. RAZZLE : version France-Télécom

5. RAZZLE

6. Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion

7. Exemple

8. Modèle d’Interaction Mixte: Objet Mixte Objet mixte Outil Objet de la tâche

9. Objet mixte Objet physique Objet numérique Propriétés physiques Propriétés numériques Propriétés physiques Propriétés numériques ? Modèle d’Interaction Mixte: Objet Mixte • modalité d’ Interactionm = (d, l) • parole = (microphone, langage naturel)

10. Données physiques en entrée Propriérés physiques Propriétés numériques Données physiques générées Modèle d’Interaction Mixte : Objet Mixte • Modalité de Liaison Objet mixte Dispositif d’entrée Langage d’entrée Dispositif de sortie Langage de sortie

11. Propriétés physiques Modèle d’Interaction Mixte : Objet Mixte Dessin mixte Vision par ordinateur Caméra Image Formes Projecteur Image Sélection

12. Identifiant Position Orientation Popriétés physiques Casque semi transparent Modèle d’Interaction Mixte : Objet Mixte Pièce mixte Valeur numérique Transforma° géométrique Capteur de position Valeur numérique Transforma° géométrique Capteur d’ orientation Projection 3D Image

13. Modèle d’Interaction Mixte : Objet Mixte Objet mixte Propriétés physiques Propriétés numériques Modalités de Liaison Outil Objet de la tâche

14. Objet de la tâche Modèle d’Interaction Mixte : Interaction Mixte tâche élémentaire Outil action réponse réaction retour d’information

15. Modèle d’Interaction Mixte : Interaction Mixte • modalité d’Interactionm = (d, l)

16. Données physiques Propriérés numériques Propriérés physiques Données physiques Langage d’interaction en sortie Langage d’interaction en entrée Objet de la tâche Modèle d’Interaction Mixte : Interaction Mixte Outil mixte Langage d’entrée Dispositif d’entrée Langage de sortie Dispositif de sortie

17. Modèle d’Interaction Mixte : Interaction Mixte

18. Modèle d’Interaction Mixte : Interaction Mixte Outil mixte Vision Par ordinateur caméra image Outil mixte Bouton, Mot, Emplacement Bouton de papier translation dessin

19. Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion

20. Modalités conçues Outil mixte ? ? ? ? ?

21. Modalité gestuelle

22. Modalité gestuelle Outil mixte Vision Par ordinateur image caméra Propriétés physiques Geste reconnu traduction

23. Modalité tactile

24. Modalité tactile Outil mixte Langage d’entrée données touchpad Clic, Geste reconnu Propriétés physiques traduction

25. Modalité parlée Outil mixte Langage d’entrée micro données Propriétés physiques Mot reconnu traduction

26. Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion

27. Magicien d’Oz Salle du compère Salle de jeu

28. Magicien d’Oz

29. Magicien d’Oz Salle du compère Salle de jeu

30. Architecture de RAZZLE Pac-amodeus : Arch et PAC Contrôleur de dialogue A P C Adaptateur de noyau fonctionnel Interaction logique A P C Noyau fonctionnel Interaction physique A P A P C C

31. Architecture du Magicien d’Oz Compère Joueur Contrôleur de dialogue Adaptateur de noyau fonctionnel Interaction logique Interface Java rmi, réseau sans fil Noyau fonctionnel Interaction physique Magicien d’oz

32. Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion

33. But de l’expérience • Étudier l’usage de la multimodalité • par les utilisateurs d’un système mobile

34. Protocole expérimental • 10 sujets • 20 ans < âge < 30 ans • Non joueurs aux jeux vidéos • 3 sessions de jeu pour chacun • Enregistrement des sessions • Entretiens

35. Résultats

36. Résultats

37. Résultats

38. Résultats

39. Résultats

40. Résultats

41. Résultats • Intérêt du magicien d’Oz •  Mais lieu de l’expérience confiné • Utilisabilité de la modalité gestuelle • Multimodalité utilisée

42. Plan Présentation du jeu mobile RAZZLE Modèle d’Interaction Mixte Conception des modalités Développement Évaluation ergonomique Conclusion

43. Conclusion Dans le cadre d’un projet avec France Telecom • Modèle d’interaction mixte • Conception d’un système mobile et multimodal • Étude de son usage

44. Perspectives • Pouvoir comparatif • Lien entre le modèle d’interaction mixte et le développement logiciel

45. Perspectives

46. Équipe d'ingénierie de l’interaction homme machine Laboratoire CLIPS-IMAG, Grenoble RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier