Sistemas Multi-Touch

1. Sistemas Multi-Touch Damián Bidegain Juan Pablo Conde Seminario de Videojuegos y Tecnolgías Interactivas – 2008

2. Agenda • Introducción • Usos actuales • Tecnologías Multi-Touch • Gestos • Conceptos HCI involucrados • Universo Multi-Touch • Multi touch vs. Mouse • Videojuegos y Multi-Touch • Historia de interacción en videojuegos • Videojuegos con interfaz Multi-Touch • Preguntas • Referencias Seminario de Videojuegos y Tecnolgías Interactivas – 2008

3. Introducción • Dispositivos Multi-Touch • Superficies que detectan el contacto de uno o más objetos (dedos u otro material ej.: lápiz) • Generalmente de E/S (el mismo dispositivo es a su vez la pantalla), aunque existen excepciones (TouchPad de MacBook) • En general integrado a hardware cotidiano: • Pantalla • TouchPad • Mesa • Pared Seminario de Videojuegos y Tecnolgías Interactivas – 2008

4. Usos actuales • Multimedia • Video • Imágenes • Sonido • Telecomunicaciones • Telefonía celular • Internet • Sistemas de información • Sistemas geográficos • Google Maps • Videojuegos Seminario de Videojuegos y Tecnolgías Interactivas – 2008

5. Tecnologías Multi-Touch existentes • Ópticas • DI (Diffuse Illumination) • FTIR (Frustrated Total Internal Reflection) • Fotosensores • Láser • Fluidos • Eléctricas • Resistiva • Capacitiva • Contacto de conductores Seminario de Videojuegos y Tecnolgías Interactivas – 2008

6. Gestos • Introducidos principalmente por el iPhone • Plantea un estándar en el movimiento de los dedos y en la cantidad que se usan para realizar una acción determinada • Ej.: • Estirar, mover, rotar, desplazarse, … Seminario de Videojuegos y Tecnolgías Interactivas – 2008

7. Gestos • Ejemplos de gestos Multi-Touch • MacBook TouchPad desplazar estirar rotar slide Seminario de Videojuegos y Tecnolgías Interactivas – 2008

8. Conceptos HCI involucrados • Abordabilidad • Un objeto se dice abordable si se puede percibir cómo usarlo con facilidad (sin la necesidad de un manual). P. ej.: Pestillo, hacha • En un sistema Multi-Touch • Es clara la abordabilidad en algunos casos (tap, mover), en otros es perceptible ayudado con alguna interacción inicial (ej.: si alejo los dedos se estira la foto, es de suponer que al acercarlos ésta se contraiga) Seminario de Videojuegos y Tecnolgías Interactivas – 2008

9. Conceptos HCI involucrados • Manipulación directa • El sistema es lo menos abstracto posible • Cuanto más gráfico es el sistema más ayuda a pensar el problema tal cual es • En un sistema Multi-Touch • El usuario interactúa directamente sobre los elementos gráficos (ventanas, fotos, etc.) • Diseño de sistemas gráficos pensados para funcionar en un ambiente Multi-Touch Seminario de Videojuegos y Tecnolgías Interactivas – 2008

10. Conceptos HCI involucrados • Retroalimentación (feedback) • La facilidad con la que el usuario detecta un cambio en el sistema • Determinada por la velocidad y expresividad con que se muestran los resultados • En un sistema Multi-Touch • Alto grado de feedback debido a la manipulación directa • Debe tenerse en cuenta a la hora de desarrollar para estos sistemas, pues es un aspecto esencial Seminario de Videojuegos y Tecnolgías Interactivas – 2008

11. Universo Multi-Touch • Comerciales: • Apple iPhone • MacBook TouchPad • Microsoft Surface • DiamondTouch • Académicos: • Reactable • ThinSight • Multi-Touch sensing through FTIR Seminario de Videojuegos y Tecnolgías Interactivas – 2008

12. Universo Multi-Touch • Apple iPhone Seminario de Videojuegos y Tecnolgías Interactivas – 2008

13. Universo Multi-Touch • MacBook TouchPad Seminario de Videojuegos y Tecnolgías Interactivas – 2008

14. Universo Multi-Touch • Microsoft Surface Seminario de Videojuegos y Tecnolgías Interactivas – 2008

15. Universo Multi-Touch • Microsoft Surface Seminario de Videojuegos y Tecnolgías Interactivas – 2008

16. Universo Multi-Touch • DiamondTouch Seminario de Videojuegos y Tecnolgías Interactivas – 2008

17. Hardware Multi-Touch • ReacTable Seminario de Videojuegos y Tecnolgías Interactivas – 2008

18. Hardware Multi-Touch • ThinSight Seminario de Videojuegos y Tecnolgías Interactivas – 2008

19. Hardware Multi-Touch • Multi-Touch sensing through FTIR Seminario de Videojuegos y Tecnolgías Interactivas – 2008

20. Multi Touch vs. Mouse • Hoy en día el dispositivo por excelencia es el mouse • Experimentos revelan que esto podría ya no ser así en el futuro • Mitsubishi Electric Research Labs obtuvo las siguientes conclusiones para una mesa (tabletop): • Para un único punto de interacción el mouse es más rápido y preciso • Pero para múltiples puntos de interacción se da lo contrario • Incluso para varios usuarios y un único punto de interacción se recomienda una mesa táctil • La gran diferencia radica en la comodidad y naturalidad de la interacción • Además no se requiere recordar la locación del puntero • Se agrega error pero se gana paralelismo Seminario de Videojuegos y Tecnolgías Interactivas – 2008

21. Videojuegos y Multi-Touch • Historia de Interacción en videojuegos • Videojuegos con interfaz Multi-Touch Seminario de Videojuegos y Tecnolgías Interactivas – 2008

22. Historia de interacción en videojuegos • El motor de la industria de los videojuegos siempre ha sido el cambio en la forma de interactuar • Existen “generaciones de controles”, las cuales cambian cada unos 5 años • Nintendo ha sido el mayor revolucionario en este sentido Seminario de Videojuegos y Tecnolgías Interactivas – 2008

23. Un poco de historia… • Generaciones de controles • Atari 2600 • Nintendo Entertainment System (NES) • Simplificó la forma de interactuar • Super Nintendo Entertainment System (SNES) y Sega Genesis. • Se consideró la ergonomía y el confort Seminario de Videojuegos y Tecnolgías Interactivas – 2008

24. Un poco de historia… • Nintendo 64, PlayStation, Sega Saturn y luego el Sega Dreamcast • Nuevamente Nintendo revoluciona, aquí con la palanca analógica • Luego Sony y Sega la incorporan • Ésta fue necesaria para la nueva generación de juegos 3D Seminario de Videojuegos y Tecnolgías Interactivas – 2008

25. Un poco de historia… • Las siguientes dos generaciones no produjeron ninguna innovación, sólo hicieron más compleja la interacción, sobre todo para los inexpertos • Aquí es donde se comenzó a trabajar en otros métodos de interacción Seminario de Videojuegos y Tecnolgías Interactivas – 2008

26. En la actualidad… • Aparece la Wii de Nintendo • Absolutamente innovadora, la interacción es ahora más intuitiva y natural • En poco tiempo se convirtió en la consola más vendida de la nueva generación • ¿Y qué sigue? Seminario de Videojuegos y Tecnolgías Interactivas – 2008

27. En la actualidad… • Existen en el ámbito académico tres nuevos frentes que parecen tomar fuerza • Interfaces de rastreo de movimientos • Interfaces de computadora mentales • Y la llamada “generación de juegos táctiles” • Esta se considera que comenzó con la Nintendo DS, la cual superó ampliamente a la PSP de Sony • Fue la experiencia de interacción la que la hizo un éxito • La evolución lógica es pasar de un solo punto de contacto a múltiples puntos de contacto Seminario de Videojuegos y Tecnolgías Interactivas – 2008

28. Videojuegos Multi-Touch • Warcraft III • Existen varios proyectos en torno a este juego • Mitsubishi está trabajando en uno que mezcla esta tecnología con los comandos de voz Seminario de Videojuegos y Tecnolgías Interactivas – 2008

29. Videojuegos Multi-Touch • Touch Grind • IlusionLabs crea el primer juego multi touch para el iphone Seminario de Videojuegos y Tecnolgías Interactivas – 2008

30. ¿Preguntas? Seminario de Videojuegos y Tecnolgías Interactivas – 2008

31. Referencias • Multi-User Multi-Touch Games on Diamond Touch with the DTFlash Toolkit. Alan Esenther, Kent Wittenburg. Diciembre 2005 • From Chasing Dots to Reading Minds: The Past, Present and Future of Video Game Interaction. Damien Marshall et al. • Direct Touch vs. Mouse Input for Tabletop Displays. Clifton Forlines et al. • Apple iPhone, MacBook TouchPad http://www.apple.com • Microsoft Surface http://www.surface.com • Multi-Touch Interaction Research http://www.cs.nyu.edu/~jhan/ftirtouch/ • DiamondTouch http://www.merl.com/projects/DiamondTouch/ Seminario de Videojuegos y Tecnolgías Interactivas – 2008

32. Referencias • Sharam Izadi, et al. ThinSight: Integrated Optical Multi-touch Sensing through Thin Form-factor Displays • Reactable http://mtg.upf.es/reactable/ • Videos de www.youtube.com Seminario de Videojuegos y Tecnolgías Interactivas – 2008