>> Aplicaciones << Realidad Virtual Virtual Reality

1. >> Aplicaciones <<Realidad VirtualVirtual Reality LINK http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones A. García-Alonso

2. Apuntes históricos • 1970Plotter • 1975 Vector images (“osciloscopio”) Tektronix • 1980 raster (“terminals”, PCs, micros) • 1983 (z) depth-buffer (3D, Clark “geometry engine”) • 1985 Workstation Silicon Graphics • 1992 CAVE (Carolina Cruz Neira, Tom DeFanti) • 2000 GPU NVidia … • 2005 Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo A. García-Alonso

3. Terminología • Visualización (3D) interactiva • GPU (Graphic Processing Unit), ancestors : • graphic accelerator • graphic engine • Real time • Real time feedback • Capture user interaction • Generate 3D images • Interfaces • “Desktop” • Visualización 3D A. García-Alonso

4. Terminología • Telepresencia  Visualización • retransmitir vs. generar • Simulación  Visualización • refresco, problemas específicos • Simulación & Animación • variedad hasta el equívoco • Imágenes estereoscópicas A. García-Alonso

5. Interacción persona-computador • Historia • Tarjetas perforadas (lotes) • Terminal alfanumérico (interacción) • Gráficos por ordenador (interacción gráfica : GUI ) • Sistemas de ventanas (desktop metaphor) • Investigación presente y Futura expansión • Realidad Virtual y Realidad Aumentada • Sistemas colaborativos • 3D GUI (sobremesa, proyectado, aumentado) • Sistemas “User oriented” A. García-Alonso

6. Technologies • Telepresence • Virtual Reality • VR vs. Interactive visualization • Augmented Reality • Mixed Reality VIDEOS A. García-Alonso

7. Inmersión • Recibir acciones de la(s) persona(s) + • Modelo físico (geometría + propiedades) + • Simulación ( leyes físicas + relaciones + IA ) + • Generar sensaciones => I N M E R S I Ó N ligadurasmecánicas gravedad, electrostática, ... térmicas comportamientos (rebaños/ia) A. García-Alonso

8. Inmersión • Recibir de la(s) persona(s) input devices ( capture ) + • Modelo físico estruct. Datos ( modelado ) + • Simulación algorit. ( animación ) + • Generar sensaciones output devices ( rendering ) => I N M E R S I Ó N A. García-Alonso

9. Areas de aplicación • Visualización científica • Fluidos • Deformaciones • Arquitectura y decoración • Entrenamiento de operadores (máquinas y vehículos) • “Simuladores” • Medicina • CAD, fabricación, montaje, mantenimiento, ... A. García-Alonso

10. Comunicación en el mundo real • Real environment (medio ambiente real: mundo y personas) • Vista ¿ gestos ? • Oido ¿ habla ? • Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) • Gusto ¿ ser “gustado” ? • Olfato ¿ olor segregado ? • Virtual environment • Nos limitaremos a comunicación : VE ↔ usuario • Prescindimos de : avatar(es) ↔ usuario (clases de Amalia) A. García-Alonso

11. Comunicación : del VE al usuario • Nos muestra imágenes • Nos habla o genera sonidos • Realimentación háptica • Nos ofrece sabores u olores A. García-Alonso

12. Comunicación : del usuario al VE • Nos ve: capta posiciones (visión/sensores) e interpreta • Cuerpo y extremidades, mano, cara (o sólo boca) • Reconoce gestos (posiciones o secuencia movimientos) • Nos oye (comando, lenguaje natural) • Realimentación háptica • ¿nos saborea o nos huele? • Acción directa input devices : mouse, wand, haptic, glove, … A. García-Alonso

13. Temas • Conceptos : inmersión, interacción, captura, modelado, animación, rendering, telepresencia, VR, AR, haptic • Equipos : displays y hápticos • Geometría : modelos & challenges • Image rendering • APIs • Práctica : openGL, estéreo, haptic. A. García-Alonso

14. Estereo • Pasivo : cines • Activo : home estereo TV • Autoestereo • Otros : anaglyph images (anaglifos), goggles (+ lentillas, proyección directa sobre ojo), holográficos A. García-Alonso

15. Sistema visual • Cuadro o película (parte de una pared) • No inmersivo • Proyección envolvente (estéreo panel suficientemente grande, pantalla curva, o varias paredes) • Inmersión parcial • Pantalla transparente (placa o “gafas”) • Inmersión parcial • Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) • Pura imagen virtual A. García-Alonso

16. Gráficos por Computador(Visualización) A. García-Alonso

17. Gráficos por Computador • Base para el principal subsistema de salida en VR • (recordar esquema) • IGS : Image Generation System • distintos niveles de abstraccion o encapsulamiento • librerías gráficas • sistemas gráficos • visualizadores de ficheros • problemas de I/O A. García-Alonso

18. IGS : Image Generation System • librerías gráficas • OpenGL, Direct3D, ... • sistemas gráficos • Inventor, Performer • Sistemas para visualizar bases de datos geométricas muy grandes (HP, SGI, SGI & Microsoft, Second life) • Simuladores • visualizadores de ficheros • DXF, Catia, SolidEdge, ... VRML, X3D A. García-Alonso

19. Conceptos básicos • frame buffer • pixel, resolución • memoria en la tarjeta gráfica • 256 colores • tabla de colores + índice de color • true color (8 + 8 + 8) • refresco de la memoria gráfica • información referida a un pixel: • RGB (8 x 3 bits) • RGBA • profundidad Z (2 ó 4 bytes) • doble buffering • GPUs A. García-Alonso

20. Conceptos básicos • “frame” o cuadro • tiempo real • “off line” • generación / reconocimiento (síntesis/análisis) • cooperación • texturas • i/f de usuario • generación, síntesis, infografía, GxC • modelos • animación • visualización A. García-Alonso

21. Elementos de GxC • modelos • geometría y topología • materiales • fuentes de luz • animación • posición cuerpos, luces, cámaras, ... • transformación de cámara (perspectiva, paralela, ...) • cambios de propiedades en el tiempo, • deformaciones, • crecimiento, • leyes físicas o comportamientos, ... A. García-Alonso

22. ..... • Visualización • interactiva o en tiempo real / en espera o en lote • visibilidad e iluminación • modelo interacción luz-superficie • luz ambiente • sombras • transparencia • reflejos • profundidad de campo, ..... A. García-Alonso

23. El proceso de generación de imagen • limpiar frame buffer y z-buffer • definir posición y orientación de la cámara (otros parametros no suelen variar de frame a frame) • definir luces • recorrer cuerpos • declarar su posición (matriz) • recorrer superficies • definir material • enviar los polígonos • “swap” de frame buffers A. García-Alonso

24. y α z y z x Field of view & aspect ratio

25. zzzzz • zzz • aaa • xxx • fffff • gggg xxxxxxxx A. García-Alonso