1 / 23

Multimodale Interaktion

Multimodale Interaktion. Lennard Hamann INF-M3 – Anwendungen 2 - Wintersemester 2007/2008 18. Dezember 2007. Agenda. Einleitung SmartKom MATCH Ergebnisse. Motivation. Starke Zunahme an IT-Anwendungen in allen Lebensbereichen Rasch zunehmende Komplexität von IT-Systemen

alijah
Download Presentation

Multimodale Interaktion

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Multimodale Interaktion Lennard Hamann INF-M3 – Anwendungen 2 - Wintersemester 2007/2008 18. Dezember 2007

  2. Agenda • Einleitung • SmartKom • MATCH • Ergebnisse Lennard Hamann – Multimodale Interaktion

  3. Motivation • Starke Zunahme an IT-Anwendungen in allen Lebensbereichen • Rasch zunehmende Komplexität von IT-Systemen • Immer geringere Zeit, welche den Benutzern zum Ausführen von Aufgaben und dem Erlernen von Bedienkonzepten zur Verfügung steht Lennard Hamann – Multimodale Interaktion 3 18.12.2007

  4. Ziele • Intelligente Benutzerschnittstelle, die den natürlichen Kommunikationsstil von Computerlaien akzeptiert und so den Zugriff auf Informationen und Anwendungen erleichtert • Für den Menschen intuitive und benutzergerechte Mensch-Technik-Interaktion Lennard Hamann – Multimodale Interaktion 4 18.12.2007

  5. Ziele • Weg von produktspezifischer Bedienung, bei der der Benutzer gezwungen ist, die "Sprache" der Maschine zu lernen • Dem Benutzer soll nicht bewußt sein, daß er mit einer Maschine interagiert Lennard Hamann – Multimodale Interaktion 5 18.12.2007

  6. Multimodale Interaktion • Modalität • Sinnesorgan, mit dem der Benutzer die Ausgaben vom Computer wahrnimmt • Sensor, mit dem ein Computer die Eingaben vom Benutzer empfangen kann • Multimodale Interaktion/Symmetrische Multimodalität • Sprache, Gesten, Mimik etc. zur Ein- UND Ausgabe Abbildung 1: Visime in SmartKom (aus [Wahlster 2002b]) Lennard Hamann – Multimodale Interaktion 6 18.12.2007

  7. SmartKom Abbildung 1: Das SmartKom-Konsortium Lennard Hamann – Multimodale Interaktion 7 18.12.2007

  8. SmartKom • Dialogische Mensch-Technik-Interaktion • Benutzer delegiert Aufgaben an den Präsentationsagenten • Sowohl der Benutzer als auch das System starten Interaktionen Abbildung 1: Smartkaus (aus [Wahlster 2002b]) Lennard Hamann – Multimodale Interaktion 8 18.12.2007

  9. Dialogische Mensch-Technik-Interaktion Abbildung 1: Situated Delegation-oriented Dialogue Paradigm (aus [Wahlster 2002b]) Lennard Hamann – Multimodale Interaktion 9 18.12.2007

  10. SmartKom: Paradigmen • Radikaler Bruch mit dem traditionellen Desktop, da die Bürometapher für Mobile Geräte, Ambient Living etc. nicht angemessen ist. • Abkehr vom WIMP-Prinzip, (Windows, Icons, Mouse Pointer), da die Fenstertechnik auf Mobilgeräten problematisch ist und der Mausklick durch komplexe Zeigegesten ersetzt wird. Lennard Hamann – Multimodale Interaktion 10 18.12.2007

  11. SmartKom: Paradigmen • Keine Kommandos an den Kommunikations-assistenten, sondern Dialog mit gemischter Initiative: Ziel ist die Aufgabendelegation, ihre Spezifikation sowie notwendige Hilfestellungen bei der Problemlösung. • Zielt auf situierte Dialoge, da der personalisierte Interaktionsagent immer in bestimmten Umgebungen auftritt (z.B. Landkarte, Sitzplan eines Kinos, Fernsehprogramm). Lennard Hamann – Multimodale Interaktion 11 18.12.2007

  12. Animierter Präsentationsagent • Lenkt die Aufmerksamkeit des Benutzers • Stellt Querverweise zwischen graphischen und textuellen Elementen durch beidhändiges Zeigen her • Hilft dem Benutzer (z.B. Umgang mit Formular) Abbildungen 1 und 2: Präsentationsagent Smartakus aus SmartKom (aus [Wahlster 2003]) Lennard Hamann – Multimodale Interaktion 12 18.12.2007

  13. Anwendungsfall: Kinokarten bestellen Abbildung 1: Multimodale Interaktion mit SmartKom (aus [Wahlster 2002b]) Lennard Hamann – Multimodale Interaktion 13 18.12.2007

  14. Interpretation von mimischen Gesten Abbildung 1: Interpretation von mimischen Gesten (aus [Wahlster 2002b]) Lennard Hamann – Multimodale Interaktion 14 18.12.2007

  15. SmartKom: Modulare Architektur Eingabe-geräte Ausgabe Medien-analyse Interaktions-Planung Abbildung 1: SmartKom-GUI (aus [Wahlster 2002b]) Anwen-dungen und Dienste Lennard Hamann – Multimodale Interaktion 15 18.12.2007

  16. Multimodal Access To City Help (MATCH) • AT&T Projekt • Restaurant und U-Bahn Informationen abrufen • Eingabe mit Sprache und Stift • Berücksichtigt außerdem den Dialog-Kontext und Benutzerpräferenzen Lennard Hamann – Multimodale Interaktion 16 18.12.2007

  17. Anwendungsfall: Restaurant finden • Optionen bei der Eingabe: • Sprache: ‘Show cheap italian restaurants in chelsea’ • Stift und Sprache: ‘Show cheap italian restaurants in this neighborhood’ + Zeigen • Stift: Abbildung 1: Unimodale eingabe per Stift (aus [Johnston u. a. 2002]) Lennard Hamann – Multimodale Interaktion 17 18.12.2007

  18. Ergebnisse • Benutzer wechseln zwischen unimodaler und multimodaler Eingabe in Abhängigkeit von der ausuzuführenden Aktion • Multimodale Eingaben geschehen nicht synchron, weder in der Mensch-Technik Interaktion noch in der Mensch-Mensch Interaktion Lennard Hamann – Multimodale Interaktion 18 18.12.2007

  19. Ergebnisse • Ausschließlich auf Speak-and-point ausgerichtete Systeme sind nicht ausreichend • Nur 20% der Gesten in der Mensch-Mensch Interaktion sind Zeigegesten • Sprache ist nicht der einzige oder wichtigste Informationsträger in der Interaktion • Multimodale Sprache ist einfacher als natürliche oder unimodale Sprache Lennard Hamann – Multimodale Interaktion 19 18.12.2007

  20. Vielen Dank für die Aufmerksamkeit Lennard Hamann – Multimodale Interaktion 20 18.12.2007

  21. Literatur • [Alexandersson 2002] Alexandersson J. : Overlay - a non-monotonic operation for discourse processing. In: Loria (Laboratoire lorrain de recherche en informatique et ses applications), Nancy, 2002. • [Cohen u. a. 1997] Cohen P.R. ; Johnston, M. ; McGee, D. ; Oviatt, S. ; Pittman, J. ; Smith, S. ; Chen, L. ; Clow, J. : QuickSet: multimodal interaction for simulation set-up and control. In: Proceedings of the fifth conference on Applied natural language processing, Washington, DC, 1997, pp. 20 – 24. • [Johnston u. a. 2002] Johnston, M. ; Bangalore, S. ; Vasireddy, G. ; Stent, A. ; Ehlen, P. ; Walker, M. Whittaker, S. ; Maloor, P. : MATCH: An Architecture for Multimodal Dialogue Systems. In: Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL), Philadelphia, July 2002, pp. 376-383. Lennard Hamann – Multimodale Interaktion 21 18.12.2007

  22. Literatur • [Oviatt 1997a] Oviatt, S.L. : Multimodal interactive maps: Designing for human performance. Human-Computer Interaction 12, (1997), pp. 93–129. • [Oviatt u.a. 1997b] Oviatt, S.L. ; DeAngeli, A. ; Kuhn, K. : Integration and synchronization of input modes during multimodal human-computer interaction. In Proceedings of Conference on Human Factors in Computing Systems CHI‘97 (March 22–27, Atlanta, GA). ACM Press, NY, 1997, pp. 415–422. • [McNeill 1992] McNeill, D. : Hand and Mind: What Gestures Reveal about Thought. University of Chicago Press, Chicago, IL, 1992. Lennard Hamann – Multimodale Interaktion 22 18.12.2007

  23. Literatur • [Wahlster 2002a] Wahlster W. : Multimodale Interaktion und Interface Agenten: Trends für Morgen und Übermorgen. In: USEWARE, Darmstadt, 2002. • [Wahlster 2002b] Wahlster W. : SmartKom: Fusion and Fission of Speech, Gestures, and Facial Expressions. In: Proceedings of the 1st International Workshop on Man-Machine Symbiotic Systems, Kyoto (Japan), 25.-26.11.2002, pp. 213-225. • [Wahlster 2003] Wahlster W. : SmartKom: Symmetric Multimodality in an Adaptive and Reusable Dialogue Shell. In: Krahl, R., Günther, D. (eds): Proceedings of the Human Computer Interaction Status Conference 2003 03.06.2003 Berlin: DLR, pp. 47-62. Lennard Hamann – Multimodale Interaktion 23 18.12.2007

More Related