HybridDesk - Uma Interface Híbrida em um Sistema Semi-Imersivo de Desktop

1. HybridDesk - Uma Interface Híbrida em um Sistema Semi-Imersivo de Desktop Felipe Carvalho PUC-Rio

2. GUIs – Convergência de Interfaces • WIMPs & 3DUIs ->Desktop Wimp – 2DUI DeskTop 3DUIs Timeline

3. Espectro de Interfaces MASSO, J. P. M.. A Structured Approach to the Development of 3D User Interfaces. PhD thesis, ALBACETE, ES, 2008. Adviser-Pascual Gonzalez Lopez.

4. ArranjoTecnologico • WIMP (2DUI) • Mouse, Teclado e Monitor. • 3DUI • ????

5. ArranjoTecnologico – 3DUI • Arranjo Genérico?? • Definição de Arranjos Direcionados as Tarefas 3D • Estudo da relação das tarefas 3D e as propriedades dos dispositivos de entrada e saida (displays); • Identificação de triplas do tipo (Dispositivo de Entrada, Display, Técnica de Interação 3D) que estejam de acordo com o arranjo tecnológico; • Congruência Dimensional • “a condição aonde a demanda espacial de uma tarefa está diretamente de acordo com a técnica de interação que é usada para executá-la“ DARKEN, R.; DUROST, R.. Mixed-dimension interaction in virtual environments. In: VRST'05, p. 38{45. ACM, 2005.

6. Propriedades dos Dispositivos • Displays: • Cor, Brilho e Contraste; • Resolução Espacial; • Field of View – FOV; • Field of Regard – FOR; • Geometria; • Refresh Rate; • Opacidade (Real World Occlusion); • Masking; • Light Transfer; • Ergonomia; • Latência Gráfica;

7. Propriedades dos Dispositivos • Input • Graus de Liberdade (Degree of Freedom); • Tipo de Dado (Discreto/Continuo); • Affordances; • Ergonomia;

8. Tarefas 3D & Displays • A maioria das técnicas de interação 3D ( em ambientes imersivos) foram criadas e desenvolvidas para HMDs; • Predominância de avaliações usando HMDs; • Conclusões relativas as propriedades dos HMDS • Fov pequeno, FOR de 360, obstrução do mundo real, problemas de ergonomia (peso, presença de cabos, etc);

9. Tarefas 3D & Displays • Dada a redução de custos de equipamentos, a aquisição principalmente de soluções baseadas em projeções ficou mais viável. Isto está resultando em estudos com avaliações mais diversificadas: • Comparação da realização de uma tarefa de interação em displays diferentes; • Impacto na migração de um técnica de interação 3D do seu display primário para outro; • HMD x CAVE; • Monitor x CAVE x HMD • Projeção Simples X CAVE X Monitor

10. Tarefas 3D & Displays

11. Tarefas 3D & Displays • Conclusões parciais: • Displays fisicamente maiores com FOV e FOR elevados: • estímulos visuais vindos tanto da visão focal quanto da periférica • Inspeção e análise das relações espaciais entre vários objetos; • Seleção: maior espaço visual de busca instantaneo; • Navegação: noção de localização no espaço virtual (spatial awareness) - ajuda na criação de mapas mentais. • Manipulação a Distância: Como o espaço visual é maior, este tipo de tarefa tem beneficios dada a não necessidade de movimentos precisos (translações grandes sem a nessidade de posicionamentos exatos).

12. Tarefas 3D & Displays • Conclusõesparciais: • FOV pequeno + Nitidez, Resolução e Brilho: • Manipulação Local: As tarefas de manipulação local mostraram uma concentração direcionada a uma área de visão reduzida, coincidindo com a visão focal, o que fez especular uma necessidade pequena da visão periférica. Outros aspectos como nitidez, brilho e resolução passaram a ter importancia principalmente na avaliação de detalhes nos objetos durante manipulações; • Tamanho do objetosendomanipulado: preferênciaporobjetosproporcionamentemenoresaocorpo do usuário; • Objetosaoalcance das mãos? Reachingdisplays? • Preferênciapordispositivos 6-DOF emtarefas de manipulação. Apesar dos dispositivos ainda não apresentarem precisão elevada, eles ainda sim propiciam movimentos que os feitos durante manipulações com objetos reais;

13. Interfaces de Transição Tarefas RV (Selection, Manipulation, Navigation)

14. Interfaces de Transição • Interfaces responsáveis por um caminhar uniforme ao longo de um espectro de interfaces; • MagicBook

15. Interfaces de Transição • Iniciativas para a formalização de um modelo conceitual; GRASSET, R.; LOOSER, J. ; BILLINGHURST, M.. Transitional interface: concept, issues and framework. In: ISMAR, p. 231{232.IEEE, 2006.

16. Anotação 3D • O acesso às informações em um ambiente virtual 3D não necessariamente estão restritas à visualização dos objetos 3D; • Uma anotação é uma nota posicionada em algum lugar do mundo para explicar, questionar, ou revisar algum aspecto dele. • Por meio de associações de arquivos que estão no desktop • Aproveitamento do conhecimento dos usuários no ambiente Windows.

17. Anotação 3D & Interfaces de Transição • Pode ser interpretada como uma tarefa contendo tanto elementos simbólicos (informações como textos) comumente encontradas em intefaces 2D, e elementos gráficos encontrados em interfaces 3D. • Realização através de diferentes interfaces inter-ligadas;

18. Anotação 3D & Interfaces de Transição • Diferentes interfaces com diferentes arranjos tecnológicos • WIMP + Manipulação + Navegação • Integração? Hybrid User Interfaces- HUI? • O termo HUI foi inicialmente abordado como sendocaracterizado por um ambiente heterogêneo, rico em técnicas de interação, com dispositivos de diversas modalidades sendo utilizados de forma complementar.

19. Hybrid User Interfaces

20. HUI & Interfaces de Transição • Falta de critérios para conduzir a elaboração de um protótipo; • Aspectos da Continuidade e Congruência Dimensional como formas de guiar a fase de design de uma HUI? • Continuidade?? • Como, aonde e quando uma informação será enviada para o usuário (Propriedade Perceptiva) refletirá o nível de compreensão durante o processo de interpretação dela (Propriedade Cognitiva) e o quão natural será o processo de interação (Propriedade Funcional). ISHII, H.; KOBAYASHI, M. ; ARITA, K.. Iterative design of seamless collaboration media. Commun. ACM, 37(8):83{97, 1994. DUBOIS, E.; NIGAY, L. ; TROCCAZ, J.. Consistency in augmented reality systems. In: Little, M. R.; Nigay, L., editors, CONFERENCE PROCEEDINGS OF EHCI'2001, p. 111{122, Toronto, Canada, 2001.`Springer Verlag. TREVISAN, D. G.. Designing smooth connections between worlds. In: EXTENDED ABSTRACTS OF THE 2004 CONFERENCE ON HUMAN FACTORS AND COMPUTING SYSTEMS CHI2004, SESSION DOCTORAL CONSORTIUM, p. 1043{1044. ACM Press, 2004.

21. HybridDesk • Protótipo Inicial

22. HybridDesk • Protótipo Atual

23. HybridDesk • Fase – Design • Arranjo Tecnológico • MiniCave • LCD Monitor • Tracker Ótico • Mouse e Teclado • Wand • Head-Tracking

24. HybridDesk • Ambientes de Interação • VR-Nav : Para Navegação e Seleção 3D; • MiniCave + Wand + Óculos • Interações: “Grabing the air” + Locomoção por direcionamento utilizando as teclas de navegação da Wand + Seleção por Raycasting;

25. HybridDesk • Ambientes de Interação • VR-Manip : Para Manipulação Local de Objetos no sentido de análisa-los (não há alteração da posição do objeto no cenário 3D) e posicionamento de anotações; • LCD + Wand + Óculos • Interações: “physical props” (associação direta dos movimentos da Wand) + Ícone 3D + force feedback; Ícone 3D

26. HybridDesk • Ambientes de Interação • WIMP: Windows XP • Mouse+Teclado+LCD+MiniCave; • Interações convencionais do Windows XP;

27. HybridDesk • Transições - Condições

28. HybridDesk • Continuidade

29. HybridDesk • Modelo de Transições

30. Avaliação • Objetivo • Avaliar Transições entre os ambientes; • Estudo exploratório sobre a influência das decisões na fase de design (Continuidade e Congruência); • Cenário Virtual do Experimento • Tarefa de anotação em uma Plataforma Virtual de Petróleo; • Aparatus • HybridDesk (VR-Nav, VR-Manip e WIMP) • Participantes • Os usuários que realizaram o experimento foram indíviduos entre 20 e 40 anos de idade do sexo masculino, todos com certa experiência em realidade virtual, totalizando 7 indivíduos. (Paricipação adicional de um usuário “expert” na avaliação de performance do sistema)

31. Avaliação • Procedimento • Termo de compromisso e questionário de perfil; • Treinamento durante 10 minutos; • Teste – Tempo Livre; • Questionário SUS (System Usability Scale); • Questionário de Usabilidade das transições;

32. Avaliação • Experimento de Teste

33. Avaliação • Vídeo Ilustrativo

34. Avaliação • Resultados

35. Avaliação • Resultados

36. Avaliação • Resultados Usuário Expert

37. Avaliação • Satisfação do Usuário

38. Conclusões • Integração de Interfaces 2D e 3D ainda é um problema em aberto; • Integração direcionada para domínios e aplicações específicas • Identificação de tarefas necessárias, e consequentemente, quais tecnologias mais apropriadas; • Interligar interfaces levando em consideração as propriedades da continuidade pode ser vantajoso pois há uma preocupação em manter um vínculo contínuo entre as interações em pelo menos algum aspecto (Perceptivo, Cognitivo e Funcional);

39. Conclusões • Muitas vezes uma única ferramenta para vários problemas não é a solução mais adequada. Mas a junção adequada de várias ferramentas pode ser valiosa, mesmo que isto leve à necessidade de impor restrições e regras para o convívio delas. • Presença de descontinuidades (Perceptiva e Funcional); • Adaptação de tecnologias de displays para permitir o uso conjunto do espaço físico de interação (MiniCave x LCD). • As interfaces de transição ainda são um campo de estudo recente e trabalhos como este podem servir como referência para o desenvolvimento de outras;

40. TrabalhosFuturos • Adaptação de mais técnicas de interação para o sistema explorando os recursos de imersão e manipulação juntos; • Inclusão de outras tecnologias • Multi-touch (Interações Híbridas) • Avaliações mais detalhadas buscando isolar mais as váriaveis da Continuidade; • Substituir os trilhos (LCD) por outros mecanismos de mobilidade de displays • Braço Articulado • Avaliações Ergonomicas • Utilizar Estereo do Tipo Passivo Polarizado

41. Obrigado!