Multimodale Interfaces

1. Multimodale Interfaces Jonas Tappolet, Domenic Benz

2. Inhalt • Basics • Definition multimodal interface • Verschiedene Typen • Designprinzipien • Beispiel MATCH

3. Interface: Zweck Kommunikation zwischen Mensch und Maschine

4. Human-Machine-Interface (HMI) • Anwendungsbereiche • Mensch und Maschine lösen Aufgabe gemeinsam (Interaktion) • Maschine löst Aufgabe selbständig, Mensch überwacht • Mensch löst Aufgabe selbständig, Maschine überwacht (-> Assisted Living)

5. Human-Machine-Interface (HMI) Mensch Maschine Gedanken, Emotionen, interne Verarbeitung Interne Verarbeitung Information Information Daten Daten Sinnesorgane (Ohren, Augen, Nase...) Aktionen (Sprechen, Bewegung…) Sensoren (Kamera, Mikrofon…) Aktoren (Lautsprecher, Bildschirm…) Austausch physikalischer Signale

6. Warum neue Arten der Interaktion? • Maus & Tastatur ist „Präferenz“ der Maschine, nicht intuitiv • Verschiedene Situationen erfordern unterschiedliche Interaktionsmöglichkeiten • Menschen mit Behinderungen brauchen ein Interface das mit den ihnen zur Verfügung stehenden Mittel bedienbar ist

7. Komponenten der natürlichen menschlichen Kommunikation • Sprache (Grundkommunikation) • Gestik (Verdeutlichen, Untermalen) • Mimik (Emotionen) • Blickrichtung (Emotion, Kontrolle) • Lautstärke, Tonfall (Emotion) • Lippenbewegung (Kontrolle) • Gerüche (?, Emotion) • Haptik (Berührungen, Emotionen)

8. Ziele eines HMI • Das Interface muss entsprechend der Anwendung ausgelegt sein • Möglichst intuitive Kommunikation des Menschen mit der Maschine • Verwischen der Unterschiede zwischen Mensch-Mensch und Mensch-Maschine Kommunikation

9. Gestenerkennung Funktionsweise: Aufnahme von Gesten mithilfe einer Kamera und Erkennung der Geste mithilfe von Software Pro: • Technologie vorhanden • Fordert nicht volle Aufmerksamkeit des Anwenders Contra: • Erkennungsgeste zum aktivieren des Systems • Eingeschränkter Aktionsbereich

10. Video: Gestenerkennung Quelle: TU München, Lehrstuhl für Mensch-Maschine-Kommunikation, http://www.mmk.ei.tum.de/demo/carvis/carvis.avi

11. Spracherkennung Funktionsweise: Aufnahme von gesprochener Sprache und anschliessende Umwandlung in Steuerbefehle und Text. Pro: • Keine spezielle Hardware nötig (Mikrofon) • Natürlichste Form der menschlichen Kommunikation Contra: • Umgebungsgeräusche / Andere Personen die Sprechen behindern die Spracherkennung stark

12. BCI: Brain-Computer-Interface Auswerten von elektrischer Hirnaktivität zur Erkennung von Befehlen die der Mensch „denkt“ Pro: • Direktverbindung, kein Umweg über ein verlustbehaftetes Medium • Keine Codierung vom Menschen, nur Decodierung von der Maschine. Contra: - Datenschutz - Lernbedarf seitens des Menschen?

13. Video: BBCI - Berlin Brain-Computer Interface Quelle: Fraunhofer Institut Rechnerarchitektur und Softwaretechnik (FIRST), http://www.youtube.com/watch?v=yhR076duc8M

14. Probleme von einzelnen Interfaces • Jedes Interface hat spezifische Nachteile • Das menschliche Gehirn hat mehr Leistungsfähigkeit als ein einzelner Kommunikationskanal • Nicht für jeden Anwendungsbereich ist jedes Interface gleich gut geeignet

15. Multimodale Interfaces Definition: Multimodale Systeme verarbeiten zwei oder mehrere kombinierte Benutzereingabemethoden wie Sprache, Stift, Berührung (Touchscreen), Gesten, Blickrichtung oder Kopf- und Körperbewegung.

16. Vorteile Multimodaler Interfaces • Verbesserte Erkennung (z.B. Sprache und Lippenbewegung) • Schneller • Intuitiv / Natürlich

17. Verschiedene Typen

18. Aktive Interfaces • Benutzer will aktiv mit System kommunizieren. • Benutzer gibt explizite Kommandos an das System. • Klassische Interaktionsform Ablauf:

19. Passive Interfaces • System soll Benutzer unterstützen, ohne dass er dies explizit anfordert. • System „überwacht“ Benutzer durch verschiedene Sensoren und erkennt gewisse Muster. • Das System reagiert somit auf den Benutzer und seine Umgebung. • Mögliche Anwendung: Intelligente Räume

20. Passive Interfaces II • Schwierig zu implementieren Ablauf:

21. Gemischte multimodale Interfaces • Vereinen mind. Einen aktiven und einen passiven Input. • Beispiel: Sprache und Lippenbewegung Ablauf:

22. Zeitlich abgestufte Interfaces • Verarbeiten verschiedene Modalitäten, welche zeitlich aufeinander folgen. • Beispiel: Blick – Gestik – Sprache Ablauf:

23. Prinzipien für das Design von MM Interfaces

24. Synchronisation • MM Interface muss Mechanismen haben, welche garantieren, dass die verschiedenen Input-Streams korrekt miteinander verknüpft werden. • Beispiel: Point and Talk. • Wichtigste Dimension bei Sprachinput ist die Zeit. Bei visueller Interaktion: Raum.

25. Abschwächung/Anpassung I • MM Interfaces müssen analog der zwischenmenschlichen Kommunikation abschwächbar sein. • Beispiel: Telefongespräch. • Wegfall aller visuellen Kommunikationsmittel. • Bei multimodalen Systemen: • z.B. Veränderung der Umgebung

26. Abschwächung/Anpassung II • Zusätzliche (redundante) Modalitäten führen zu anpassungsfähigen Systemen. • Vorsicht bei sich gegenseitig ergänzenden Modalitäten • Sich verändernde Möglichkeiten beachten • V.a. bei mobilen Systemen ist zu berücksichtigen, dass sich die dem User zur Verfügung stehenden Möglichkeiten sehr schnell ändern können.

27. Gemeinsamer Status für verschiedene Modalitäten • Wenn verschiedene Modalitäten für das Ausführen einer Aktion eingesetzt werden, benötigen alle beteiligten Input-Streams einen gemeinsamen Interaktionsstatus. • Wichtig z.B. bei: • Wechsel der Modalität • History Funktion

28. „Lost in space“ Problem • Verwirrung durch zu grosse Funktionalität • Problem besteht bereits bei herkömmlichen GUIs besteht das Problem. • Verschärfung des Problems durch zusätzliche Modalitäten. • Benutzer mit intelligenten, angepassten Dialogen führen.

29. Context Awareness • MM Interfaces sollten sich der Umgebung des Users anpassen • Bedürfnisse und Möglichkeiten des Benutzers • Direkte Umgebung des Benutzers • Bandbreite

30. Beispiel MATCH Multimodal Access To City Help (AT&T Labs 2001), Quelle: http://www.research.att.com/projects/MultimodalAccessToCityHelp/

31. Fragen?