SEL 5710 - Arquiteturas para processamento e visualização de imagens digitais.

1. SEL 5710 - Arquiteturas para processamento e visualização de imagens digitais. LUVAS PARA REALIDADE VIRTUAL (VR GLOVES) Lilian Saldanha Marroni Paulo Aneas Lichti Professora: Maria Stela V. de Paiva

2. Um breve histórico da realidade virtual • A Realidade Virtual começou na indústria de simulação, com os simuladores de vôo que a Força Aérea dos Estados Unidos passou a construir depois da Segunda Guerra Mundial. • Em 1975 Krueger criou o VIDEOPLACE, onde uma câmera de vídeo capturava a imagem dos participantes e projetava-a em 2D numa grande tela

3. Histórico • Em 1982, Thomas Furness demonstrava para a Força Aérea Americana o VCASS (Visually Coupled Airborne Systems Simulator), conhecido como “Super Cockpit” - um simulador que imitava a cabine de um avião através do uso de computadores e videocapacetes interligados representando um espaço gráfico 3D

4. Histórico • Thomas Zimmerman e Jaron Lanier fundam em 1985 a VPL Research tendo como primeiro produto uma luva de dados, chamada DataGlove • No final de 1986 a equipe da NASA já possuía um ambiente virtual que permitia aos usuários ordenar comandos pela voz, escutar fala sintetizada e som 3D, e manipular objetos virtuais diretamente através do movimento das mãos

5. Histórico • Em 1989 a AutoDesk apresentava o primeiro sistema de Realidade Virtual baseado em PC • Na década de 90, um grande avança aplicações desenvolveram-se, principalmente aquelas voltadas para ambientes de imersão, envolvendo desde tratamentos e treinamentos até simulações sofisticadas nos campos da engenharia, medicina e combates e vôos simulados, além de jogos com alta sensação de realidade para entretenimento.

6. O que é Realidade Virtual • “Virtual Reality is the place where humans and computers make contact”. • “Virtual Reality involves the creation and experience of environments” • Realidade Virtual refere-se a uma experiência imersiva e interativa baseada em imagens gráficas 3D geradas em tempo-real por computador

7. Formas de RV • RV de Simulação, RV de Projeção, Augmented Reality (Realidade Realçada), Telepresença, Visually Coupled Displays (“Displays Visualmente Casados”) e RV de Mesa.

8. Espaço Cibernético • Espaço Cibernético (cyberspace) foi o termo utilizado por William Gibson em seu livro Neuromancer para designar “uma representação gráfica de dados abstraídos dos bancos de dados de todos os computadores do sistema humano • Espaço Cibernético é uma simulação 4D do espaço-tempo controlada pela interface de RV; é um espaço imaginário.

9. Estereoscopia • As imagens estereoscópicas parecem flutuar no espaço diante da superfície na qual estão apresentadas • Em Realidade Virtual, a visão estereoscópica é um importante fator na determinação do nível de imersão do sistema

10. Graus de Liberdade • Os graus de liberdade determinam flexibilidade de movimentação e/ou observação de algo • Grande parte dos sistemas de RV utilizam dispositivos de entrada de dados que permitem movimentos de até 6DOF, proporcionando uma maior sensação de imersão no mundo virtual

11. Som 3D • Som binaural, o som 3D tem o objetivo de proporcionar uma sensação de imersão • Engenheiro de gravação “posiciona” os sons no espaço, controlando sua direção, distância e profundidade • Enganar o cérebro visto que num sistema perfeito de som 3D não é possível diferenciar realidade e simulação: o som pode vir de toda e qualquer direção

12. Dispositivos de Saída de Dados • Dispositivos Visuais • Videocapacetes • Head-Coupled Display • Monitores e Sistemas de Projeção • Dispositivos Auditivos • Dispositivos Físicos

13. Dispositivos Físicos • Feedback tátil • Feedback de força • Feedback térmico • Plataformas móveis

14. Dispositivos de Entrada de Dados • Os dispositivos de entrada de dados, por outro lado, permitem a movimentação e interação do usuário com o mundo virtual

15. Dispositivos de Interação • Luvas de dados • Para a determinação dos movimentos dos dedos são utilizados na maioria dos projetos sensores mecânicos ou de fibra ótica • O uso de luvas de dados ajuda a aumentar a sensação de presença no mundo virtual

16. Dispositivos com nDOF • Os dispositivos de interação com 6DOF permitem uma movimentação bastante ampla quando utilizados em sistemas de RV • Algumas empresas procuram modificar o projeto do mouse padrão para que este possa funcionar com sensores de trajetória de 6DOF ou 3DOF • Esses mouses (o plural correto seria mice) passam então a utilizar dispositivos de rastreamento ultrassônicos ou eletromagnéticos

17. Sensores de Entrada Biológicos • Sensores de entrada biológicos processam atividades chamadas de indiretas, como comando de voz e sinais elétricos musculares • Dispositivos que utilizam sinais elétricos musculares são utilizados para, através de eletrodos colocados sobre a pele, detectar a atividade muscular, permitindo ao usuário movimentar-se pelo mundo virtual

18. Dispositivos de Trajetória • Dispositivos de interação mencionados acima contam com um dispositivo responsável pela tarefa de detecção ou rastreamento da trajetória • Os dispositivos de trajetória trabalham baseados na diferença de posição ou orientação em relação a um ponto ou estado de referência • A maioria das aplicações que utilizam detecção de trajetória fazem uso de pequenos sensores colocados sobre as partes do corpo ou sobre o objeto (se for o caso), técnica conhecida como tracking ativo

19. Trajetória • Como alternativa, o tracking passivo utiliza câmeras ou sensores óticos ou de inércia para “observar” o objeto e determinar sua posição e orientação. Diferente dos dispositivos que utilizam tracking ativo, os dispositivos de tracking passivo utilizam apenas um sensor para rastrear o objeto.

20. Trajetória e Luvas • Como exemplo, para o desenvolvimento de luvas de dados existem três tecnologias predominantes no que diz respeito à localização da mão no espaço e orientação da palma da mão. A primeira baseia-se no uso de câmeras para monitorar a luva a uma certa distância (tracking passivo), a segunda trabalha com a radiação de pulsos magnéticos emitidos pela luva (tracking ativo), e a terceira baseia-se na acústica (tracking ativo), onde dispositivos ultrassônicos transmitem a posição da mão

21. Ferramentas para Criação da RV • Cyberspace Development Kit • REND386 • VREAM • WalkThrough • VRML

22. Características: ü  Confortável Produzida em lycra ü  Arquitetura aberta Tamanho único Calibração para cada usuário ü Simulação de um mouse ü Modelos para a mão esquerda e direita 1. DATA GLOVE • Drivers para programas de VR • ü 8 bits de resolução de conversão • ü Sensor interno de inclinação • ü Alta taxa de atualização • ü  Software embutido • Processador on-board • ü  Baixa flutuação

23. Especificações ü Interface RS-232 (19.2 kbaud) ü Um sensor de fibra ótica por dedo ü Fonte de alimentação de 9V DC, 200 mA ü Sensores internos com ângulos 60º ü Taxa de atualização máxima por dedo: 200 Hz ü Resolução de conversão: 12 bits A/D

24. Software ü  Programa em C++ para DOS ü Programa instrumental chamado KineMusica (piano virtual, trompete, corneta e bateria) ü Simulação de um mouse ü Bibliotecas API pra Windows (3x, 95 e NT) ü Programa demo • Drivers para DOS de 16 e 32 bits • DDL de 32 bits para Windows üDrivers para programas de VR (WorldToolKit for Win, MindRender, Amber, Superscape, XVS-SyncLink, VRCreator)

25. 5 DT Data Glove 5 / 5 DT Data Glove 5-W

26. 5DT Data Glove 16 / 5DT Data Glove 16-W

27. 5DT Data Glove MRI

28. CyberGlove

29. Especificações • Feita de 80% e nylon e 20% de lycra • Tamanho único • Calibração para cada usuário • Interface RS - 232 • Taxa de atualização na faixa de 100 Hz (para 18 sensores operando a 38,4 kbaud e 150 Hz a 115.2 kbaud) • Resolução do Sensor: 0.5°

30. ümodelo de 18 sensores: com dois sensores em cada dedo, quatro sensores abductions, sensores plus de medição do polegar, arco da palma, flexão e abduction do pulso. ümodelo de 22 sensores: acrescido de um terceiro sensor por dedo para medir a flexão da articulação nos quatro dedos.

31. O Sistema • O sistema básico inclui: • CyberGlove • sua unidade de instrumentação • um cabo serial para conecção com o host do computador • uma versão executável do software VirtualHand Silicon Graphics Obs: possui chaves e LEDs (ligados no pulso) programáveis por software para fornecer ao usuário da luva capacidade adicional de entradas e saídas.

32. Dexterous Hand Master (DHM)

33. Especificações ü      Taxa de amostragem: até 100Hz ü  Interface: RS - 422 (para taxa de amostragem de 100 Hz) ü   Software RS-232 para IBM, VME, Apple Mac com no mínimo 64 Kb de memória ü  Faixa de temperatura: 10º a 25º

34. Power Glove

35. Especificações • Fabricada em 1989 como um controlador para Nintendo Home Vídeo Gamespela Companhia de Brinquedo Mattel • Devido a seu baixo preço, foi amplamente usada em pesquisa (Aukstakalnis e Blatner, 1992) • Feita de lycra • Exige recalibração para cada usuário • Não é confortável nem precisa • Há aproximadamente 3 anos não é mais produzida (somente sob encomenda)

36. PINCH GLOVE

37. Especificações • Não é necessário calibração • Tamanho único • Feita de strech • Interface RS-232 • Não mede o ângulo das articulações dos dedos • Taxa de amostragem menor que 1 msec

38. TCAS GLOVE • 8 sensores: mede o ângulo da articulação do dedo PIP, dos polegares e o movimento da palma • 11 sensores: como o de oito, acrescido do ângulo da articulação do dedo MCP, flexão do pulso e movimentos de abduction • 16 sensores: ângulo de todos os dedos, articulação do polegar e movimento do pulso.

40. APLICAÇÕES • Visualização Científica Investigação do caminho do vento em uma simulação de furacão. (NASA Goddard Laboratory for Atmospheres) Visualização de distribuição de metano no globo. (ESS Investigator Peter Lyster/University of Maryland)

41. Aplicação industrial (CAD) • Simulação de vôo Escola de Engenharia Mecânica e de Materiais da Universidade de Washington e Divisão de Manufatura e Integração de Sistemas do Instituto Nacional de Padrões e Tecnologia Teste da aeronave Joint Strike Fighter (JSF) em Seattle

42. Ensino de sinais Universidade Politécnica de Hagenberg (Áustria) Departamento de Tecnologia de Mídia e Design – Captura de gestos e sinais e visualização através de animações 3D em tempo-real.

43. Outras aplicações • Simulação de combates • Terapias anti-fobia • Simulações em Engenharia • Treinamento de Cirurgiões • Treinamento de pilotos, astronautas, etc.

44. Bibliografia ·Gibson, W. Neuromancer. New York, ACE Books, 1984. ·Gradecki, J. Kit de montagem da realidade virtual. São Paulo, Berkeley, 1994. ·Hodges, L.F. et al. Virtual environments for treating the fear of heights. IEEE Computer, (7):27-34, July 1995. ·Isdale, J. What is virtual reality? A homebrew introduction and information resource list (Isdale Engineering). s.l. Version 2.1, 1993. Obtido pela Internet via ftp em sunee.uwaterloo.ca . ·Jacobson, L. Realidade virtual em casa. Rio de Janeiro, Berkeley, 1994. ·Latta, J.N.; Oberg, D.J. A conceptual virtual reality model. IEEE Computer Graphics &Applications, 14(1): 23-29, Jan. 1994.

45. Bibliografia ·Machover, C.; Tice, S.E. Virtual reality. IEEE Computer Graphics &Applications, 14(1):15-16, Jan. 1994. ·Mahoney, D.P. High expectations for virtual therapy. Computer Graphics World, (9):14-16, Sep. 1994. ·Pimentel, K.; Teixeira, K. Virtual reality - through the new looking glass. 2.ed. New York, McGraw-Hill, 1995. ·Rheingold, H. Virtual reality. New York, Touchstone, 1991. ·Schweber, L; Schweber, E. Realidade virtual. PC Magazine Brasil 5(6):50-72, Jun. 1995. ·Sturman, D.J.; Zeltzer, D. A survey of glove-based input. IEEE Computer Graphics &Applications, 14(1):30-39, Jan. 1994. Vince, J. Virtual reality systems. Cambridge, Addison-Wesley, 1995.

46. Bibliografia ·Virtual reality. Computer Graphics World, s.d. Reprinted from a series of articles from Computer Graphics World. PennWell Publishing Company. Woolley, B. Virtual worlds. Oxford, BlackWell, 1992

47. Sites úteis • http://www.realidavevirtual.com.br • http://www.lsi.usp.br/~rv • http://www.hitl.washington.edu/scivw/IDA • http://www.dei.unip.it/~cruzzolin/Glove.htm • http://www.isdale.com/jerry/VR/WhatIsVR/noframes/WhatisVR4.1-VR.html • http://www2.cs.utah/classes/cs6360/Nahvi/haptic.html#nmpg