1 / 31

Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante

Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante. Point de vue technologique. Christophe Cerisara. La place des interfaces en AmI. « One of the most significant challenges in AmI/pervasive computing technologies is to create user-friendly interfaces. »

chyna
Download Presentation

Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Les interfaces Homme-Machine dans les plate-formes d’Intelligence Ambiante Point de vue technologique Christophe Cerisara

  2. La place des interfaces en AmI « One of the most significant challenges in AmI/pervasive computing technologies is to create user-friendly interfaces. » [Raisinghani et al., Journal of Digital Information, août 2004] « Interfaces, especially user interfaces are one of the crucial building blocks for AmI becausethey define the experience the user will have with the intelligence surrounding him/her. » [Y. Punie, Key deliverable (EPTS, CEE) 2003] « A central challenge of AmI is to create systems that are intuitive to use […] This will require techniques for dialogue-based and goal orientated negotiation systems […]Pattern recognition (including speech and gesture) is a key area that is evolving rapidly. » [ISTAG Scenarios]

  3. Besoin de nouvelles interfaces

  4. Plan Comment adapter ces interfaces aux besoins de l’AmI ? • Multiplicité des capteurs/terminaux • Multiplicité des applications • Environnements multi-utilisateurs • Prise en compte du contexte • Interactions implicites

  5. Défi 1: gérer la multiplicité des terminaux • Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques : • Découvrir les terminaux • Sélection du meilleur terminal • Fusion séquentielle des flux d’information • Normalisation des données Plate-forme d’AmI Protocoles UPnP, JXTA …

  6. Défi 1: gérer la multiplicité des terminaux • Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques : • Découvrir les terminaux • Sélection du meilleur terminal • Fusion séquentielle des flux d’information • Normalisation des données Plate-forme d’AmI • Sélection à base de règles (éventuellement apprises) • Proximité: • GPS, détecteurs IR… • Détection de l’utilisateur • Standard supporté • Contexte, préférences…

  7. Défi 1: gérer la multiplicité des terminaux • Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques : • Découvrir les terminaux • Sélection du meilleur terminal • Fusion séquentielle des flux d’information • Normalisation des données Plate-forme d’AmI Programmation Dynamique: Minimisation de distances

  8. Défi 1: gérer la multiplicité des terminaux • Problèmes de l’IHM classique: capteurs prédéfinisSolutions technologiques : • Découvrir les terminaux • Sélection du meilleur terminal • Fusion séquentielle des flux d’information • Normalisation des données Plate-forme d’AmI • Ex: Flux audio: réduction du bruit convolutif • Normalisation par histogrammes • CMN, CVN, …

  9. Exemples de réalisations… Philips Research: « Follow me with magic wands » Fraunhofer ICG: découverte automatique des devices afin de les représenter (et de les contrôler) sur un PDA

  10. Exemples de réalisations… Exemple : UbiComp Browser (Univ. de Karlsruhe) 1 capteur, N écrans. • Accès au Web à travers le PDA • Affichage sur des écrans environnants. Sélection par: • La proximité (notion de pièce, localisation IR) • Les standards supportés • Choix par des règles prédéfinies.

  11. Défi 1: gérer la multiplicité des terminaux • Défis technologiques : • Fusion instantanée des flux : utiliser tous les capteurs • Améliorer la précision des capteurs / corriger les erreurs • Nouvelles informations : ex. stéréophonie • Prendre en compte un contexte plus large Plate-forme d’AmI

  12. Défi 2 : Multiplicité des applications Problèmes: • Unicité des interfaces pour/adaptées à l’utilisateur • Réduire les coûts de développement / Ne pas recréer de nouvelles interfaces à chaque application Solutions technologiques: • Langage de description des interfaces indépendant des terminaux • Génération automatique des interfaces(Nichols, CMU) Exemple 1 : IBM Universal Information Appliance : Un seul PDA qui accède à tous les services / appareils Mobile Document Application Language (MoDAL): basé sur XML, décrit les interfaces et applications. Il implémente 4 actions: • Afficher un GUI • Réaliser des calculs locaux • Lire / écrire sur une base de données locale • Envoyer / recevoir des messages sur le réseau

  13. Multiplicité des interfaces Exemple 2 : EMBASSI project Langage de description des interfaces basé sur XML: <?xml version="1.0" encoding="UTF-8"?> <input id="field1" lang="DE" … > <caption> <text>Name:</text> </caption> <hint>Please enter your name. Up to 50 characters </hint> <help>http://www.embassi.de</help>

  14. Défi 3 : Environnements multi-utilisateurs • Gérer plusieurs utilisateurs simultanément • Gérer des utilisateurs « non standards »: • Âgés, enfants, handicapés, … Technologies de base ? • Identification • Reco. des actes de dialogue • Reco. robuste aux bruits / BSS Problèmes (non résolus) • Identité des locuteurs ? • Qui parle ? A qui ? TeleTact II (CNRS) • LABIAO (LORIA): • Enfants mal-entendants • Communauté d’utilisateurs • N’accapare pas l’attention

  15. Défi 4 : Prise en compte du contexte Le contexte peut être pris en compte sous différentes formes dans les interfaces: • Réagir à des changements contextuels • Adapter les interfaces au contexte • Interrompre l’utilisateur • Gestion des ressources • Générer des méta-données

  16. Prise en compte du contexte Applications proactives: • Démarrer une application: alarmes, … • Choisir une appli: position => PDA • Paramétriser une appli: position, vitesse => système de navigation Démarrer un service Choisir un service Paramétriser un service Ex. Alarmes Ex. PDA dans un centre commercial Ex. navigation

  17. Prise en compte du contexte Interfaces adaptables Hardware Adaptation aux interfaces Choix des interfaces • Bruit / lumière • Préférences • …

  18. Prise en compte du contexte Interruptions de l’utilisateur par le système • Pré-définies: réunions prévues dans l’agenda. • Déclenchées: appel téléphonique • Choix du mode d’interruption selon le contexte (Interfaces attentives) • Jean travaille : faire clignoter une icône en bas de l’écran • Jean discute : attendre une pause dans la conversation pour interrompre oralement Jean. • Négociation progressive • Commence par un signal discret • Minimiser la perception des modifications • Images fade-out … (MIT) • Tangible bits • Modalités non utilisées • Interfaces attentives à l’utilisateur • Habitude / routine: augmenter les objets usuels. • ubicomp / unremarkable computing • Retarder / Annuler l’interruption • Proactive computing • Special Issue « Attentive User Interfaces », Communication ACM 2003.

  19. Prise en compte du contexte • Gestion des ressources • Choix de l’imprimante la plus proche • Plus généralement, utilisation des ressources les plus proches[D. Kirsh, The Intelligent Use of Space, Journal of Artificial Intelligence, 73 (1-2), (1995) 31-68. Online: http://iclserver.ucsd.edu/~kirsh/Articles/Space/AIJ1.html] • Génération de méta-données automatiquement pour « étiqueter » les documents • Ex: A quel endroit me trouvais-je lorsque … ?[G. D. Abowd, Classroom 2000: An Experiment with the Instrumentation of a Living Educational Environment, IBM Systems Journal, Special issue on Pervasive Computing, 38 (4), (1999) 508-530]

  20. Défi 5 : Interfaces discrètes Interfaces très opaques… • Ne pas accaparer l’attention de l’utilisateur ! Alternative: Interactions implicites, transparentes, calmes, … Implicit input: Acte de l’utilisateur interprétable par le système mais qui ne lui est pas destiné Implicit output: Réponse du système « intégrée » à l’environnement et à la tâche de la personne

  21. Interfaces discrètes Exemple: Jean jette l’emballage d’un plat (taggué RFID) • Analyser: • Jean mange-t-il de ce plat souvent ? • Reste-t-il de ce plat ? • Proposer: • Lorsque Jean est au supermarché: « désigner » ce plat.

  22. Interactions implicites Un modèle [Riva et al: Ambient Intelligence, 2005] :

  23. Interactions implicites: défis • Interpréter les actes complexes d’une personne (communication)[Riva et al: Ambient Intelligence, 2005] Socle commun de connaissances (SCC) Contexte(common ground) • langage • modèle du monde • histoire, … • Contexte textuel • Langage non-verbal (ex: être pressé) • Rôles / Objectif des interlocuteurs • Environnements physiques / sociaux « A common knowledge base is essential […] A discrepancy in the shared knowledge often leads to communication problems as probably most people have experienced in everyday life, especially when travelling abroad »

  24. Interactions implicites: défis • Interfaces traditionnelles: • SCC réduit à peau de chagrin (vocabulaire limité, quelques concepts liés à l’application)… • … Mais ça marche, car l’utilisateur est coopératif / connaît les limites du système • Interfaces implicites: • L’utilisateur n’explique pas au système: le SCC est indispensable !

  25. Interactions implicites: défis Comment modéliser le SCC ? • Pour des domaines très spécifiques (ex: achats alimentaires) • « Modèles du monde », basés sur la logique du 1er ordre: Discourse Representation Theory • Statistiquement: Latent Semantic: Signification d’un mot = coordonnées dans un espace à grandes dimensions « Un chien aboie » : Concepts Mots / phrases

  26. Interactions implicites: défis Comment modéliser le contexte ? Langages de description d’ontologie: • XML(SGML)-family • OWL, Topic Maps, XCL • Common Logic-family • KIF, CGIF, XCL • Description Logic-family • SNOMED-CT, OWL • ALC(D), SHOQ(D), SHIF(D), SHOIN(D) etc. • Others • UML, Entity-relationship model • In OMG ODM (Ontology Definition Metamodel)

  27. Interactions implicites: Mediated Space (IBM) • S’interposer dans la communication entre personnes: • En réunion / Dans une salle de classe • Afin d’expliquer pourquoi et comment telle décision… • Pour aider pendant la réunion • Détecter incohérences • Rappel de « patterns » d’interaction similaires passés • … • Techno de base: NIST Meeting Room evaluation

  28. Interactions implicites: Mediated Space • Analyser le contexte d’apprentissage de l’utilisateur • Écouter la radio / TV … • … en même temps que l’utilisateur: • Rappeler plus tard le contexte, le contenu • Corriger des erreurs, … • Aide-mémoire • Techno de base: NIST Broadcast News evaluation / campagne ESTER

  29. Conclusions De nombreuses briques de base… … mais il reste à bâtir l’édifice !

  30. Interactions implicites: en sortie Exemples… Développé par BT’s Research Labs: Interaction device qui utilise la lumière et des sons pour attirer l’attention de l’utilisateur, et la détection de mouvements (de la main) en entrée.

  31. Développé par Violet: Lampe connecté à Internet par WiFi, sensible aux sons et au toucher, 9 zones de couleurs pour afficher des infos. Génère des odeurs en réponse aux emails/sms/…

More Related