Un espace de classification pour l’interaction sur dispositifs mobiles

1. Un espace de classification pour l’interaction surdispositifs mobiles Anne Roudaut, Eric Lecolinet IHM’07-Paris

2. Contexte • Dispositifs mobiles : Plusieurs formes - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts 2

3. Contexte • Dispositifs mobiles : Plusieurs formes Plusieurs contextes d’utilisation - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts • Ville • Domicile • Transports … 2

4. Contexte • Dispositifs mobiles : Plusieurs formes Plusieurs contextes d’utilisation • Espace de classification des techniques d’interaction • Comprendre et organiser l’existant • Soulever des tendances et des faiblesses • Première étape pour la réalisation de nouvelles techniques d’interaction - Multifonctions/Spécialisés - Ecran tactile/Clavier physique - Stylet/Doigts • Ville • Domicile • Transports … 2

5. Plan • Contexte • Espace de classification • Définition • Dimensions • Conclusion et perspectives 3

6. ? Espace de classification • Basé sur plusieurs définitions de la « modalité » Une approche orientée psychologues Visuelle, Auditive, Kinesthésique, Sonore … L D Une approche orientée concepteurs (Nigay) Dispositif physique Avec quoi ? Langage d’interaction Comment ? 4

7. Espace de classification Modalités en entrée Modalités en sortie 5

8. Espace de classification Modalités en entrée Modalités en sortie 5

9. Espace de classification Modalités en entrée Modalités en sortie 5

10. Espace de classification Modalités en entrée Modalités en sortie 5

11. Entrées : Mouvements Mouvements • D= Dispositifs continus (Ecrans tactiles) Ecran tactile à 1 point de contact Ecran tactile multipoints Ecran capacitif (Stylet ou doigts) Ecran résistif (Doigts) Vocale Passive Stylet Visuelle Auditive Deux doigts Un doigt Pouce Kinesthésique → Répercutions sur le langage d’interaction 6

12. Entrées : Mouvements Mouvements • D= Dispositifs continus (Ecrans tactiles) • L= Manipulation de Widgets (Boutons, menu, icones …) Vocale Passive Visuelle Auditive LaunchTile (Karlson) Word Mobile Kinesthésique 7

13. Entrées : Mouvements Mouvements • D= Dispositifs continus (Ecrans tactiles) • L= Manipulation de Widgets (Boutons, menu, icones …) • L= Langage gestuel Vocale Passive Visuelle Auditive Navigation AppLens (Karlson) Entrées de texte EdgeWrite (Wobbrock) Kinesthésique 8

14. Entrées : Mouvements Mouvements • D= Dispositifs continus (Ecrans tactiles) • L= Manipulation de Widgets (Boutons, menu, icones …) • L= Langage gestuel • L= Langage gestuel hybride Vocale Passive Menu + Gestes : Apprentissage implicite Visuelle Auditive Mode Novice Mode Expert Marking Menus (Kurtenbach) Kinesthésique QuickWriting (Perlin) 9

15. Entrées : Mouvements Mouvements • D= Dispositifs continus (Ecrans tactiles) • D= Dispositifs discrets (Bouton matériel, clavier …) • → L= Codage des informations Vocale - Clavier complet Azerty/Qwerty/Fitaly/Dvorak … Passive Visuelle - Clavier réduit T12 EdgeWrite (Wobbrock) Auditive Kinesthésique 10

16. Entrées : Mouvements Mouvements • D= Dispositifs continus (Ecrans tactiles) • D= Dispositifs discrets (Bouton matériel, clavier …) • D= Capteurs (de mouvements …) Vocale Interaction embarquée Passive Visuelle Auditive Shake (Williamson) Kinesthésique MotionLens (Realeyes3D) 11

17. Entrées : Passives Mouvements • D= Capteurs (position, luminosité, sonore, RFID,GPS) • → L = Langage d’interaction différé Vocale Interaction contextuelle • - Adaptation à l’environnement • - Localisation • Identification • Cinématique Passive Visuelle Auditive Kinesthésique 12

18. Sorties : Visuelles Mouvements • D= Surfaces d’affichage • → L basés sur la métaphore du multiplexage1 Vocale Spatial Temporel En profondeur Passive Visuelle Auditive Type de multiplexage Ensemble des informations Surface d’affichage Kinesthésique 13 1Multiplexage = Faire passer plusieurs informations à travers un seul support de transmission

19. Sorties : Visuelles Mouvements • D= Surfaces d’affichage • L= Multiplexage spatial Vocale Vue focus + context Passive Visuelle Auditive Kinesthésique DateLens (Bederson) FishEyes 14

20. Sorties : Visuelles Mouvements • D= Surfaces d’affichage • L= Multiplexage spatial • L= Multiplexage temporel Vocale Passive Visuelle Auditive Kinesthésique Pan & Zoom ZenZui (www.zenzui.com) Filtrage de données Fathumb (Karlson) 15

21. Sorties : Visuelles Mouvements • D= Surfaces d’affichage • L= Multiplexage spatial • L= Multiplexage temporel • L= Multiplexage en profondeur Vocale Passive Visuelle Auditive Kinesthésique Zomit (Lecolinet) Halo (Baudish) 16

22. Sorties : Auditives Mouvements • D= Haut-parleur, écouteurs • L= Sons, Synthèse vocale Vocale • Alertes (sonnerie) • Indications vocales (GPS) • → Problème de l’environnement mobile changeant Passive Visuelle Auditive Kinesthésique 17

23. Sorties : Auditives Mouvements • D= Microphone • L= Sons, Synthèse vocale Vocale • Alertes (sonnerie) • Indications vocales (GPS) • → Problème de l’environnement mobile changeant Passive • Aider à la navigation : stéréophonie (Hiipakka) • Améliorer la manipulation de Widgets (Brewster) Visuelle Auditive Kinesthésique 17

24. Sorties : Kinesthésiques Mouvements • D= Dispositifs vibro-tactile, dispositifs de retour d’effort … • L= Retour d’effort, principalement retour tactile Vocale Améliorer le pointage (Brewster) Passive (Vibreur à l’arrière du dispositif) Visuelle Auditive Alléger les autres modalités Tactimod (Couture) Kinesthésique 18

25. Plan • Contexte • Espace de classification • Définition • Dimensions • Conclusion et perspectives 19

26. Conclusion et perspectives Conclusion Espace de classification • Compréhension et organisation de l’existant • Observation et comparaison des techniques → faire apparaitre des tendances ou des faiblesses • Première étape à l’élaboration de nouvelles techniques Problème du pointage au pouce sur un écran tactile • Occlusion • Accès aux coins de l’écran • Précision du pouce Perspectives 20

27. Merci de votre attention ! Remerciements à Bruno Aidant et son équipe d’Alcatel-Lucent