E.T.S.I.Telecomunicación Universidad de Málaga

1. E.T.S.I.TelecomunicaciónUniversidad de Málaga DESARROLLO Y DISEÑO DE MUNDOS VIRTUALES PARA LA NAVEGACIÓN A TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín

2. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

3. Sistema BCI APLICACIÓN ADQUISICIÓN SEÑAL Comandos Dispositivo Señal digitalizada Interfaz Control Conversor A/D Amplif. PROCESADO SEÑAL Cancelación Artefactos Obtención características Traducción Características /Clasificación Almacen. datos Controlador Dispositivo Pantalla Sensores Configuración Sistema FEEDBACK USUARIO (Actividad cerebral)

4. Sistema BCI • Características • Bidireccional • Modo de operación • Tipo de registro • Señal captada • Tarea mental a ejecutar • Tipo de feedback Obtener y proporcionar información Síncrono o asíncrono Técnicas invasivas y no invasivas Señal EEG Funciones motoras Ritmos ,b [8-32Hz] Reposo e imaginar movimiento Refuerzos Positivos o negativos

5. Sistema BCI • Problemática MEJORAR ENTRENAMIENTO - Controlar actividad mental Adaptación de usuario - Usabilidad del sistema Evitar frustración, cansancio - Aprendizaje no adecuado Reducir tiempo respuesta Técnicas biofeedback Mundos virtuales - Información proceso mental (Realidad Virtual) - Concentración, motivación e inmersión - Impacto visual

6. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

7. Realidad Virtual y VRML • Permite generar un mundo artificial o sintético en el cuál el usuario tiene la impresión de estar presente, por el que puede navegar e interactuar en tiempo real. Clasificaciones: - Mundo muerto - Inmersiva, No inmersiva MUNDOS VIRTUALES - Mundo real - De proyección - Mundo fantástico - Representación - Realimentación háptica (colisiones) Problemas: - Demora - Malestar por uso prolongado

8. Realidad Virtual y VRML • VRML (Virtual RealityModellingLanguage) Formato de archivo que describe objetos tridimensionales y multimedia interactivos dentro de una escena virtual - Lenguaje de modelado (ISO/IEC 14772) - Objetos 3D y multimedia interactivos (imagen, audio, etc.)  NODOS - Mundo virtual  fichero *.WRL estructurado ennodos - Objetos pueden modificarse y animarse en ejecución - Visualización  browsers o visores (en tiempo real).

9. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

10. Objetivos Diseño e implementación de mundos virtuales: Ambientes reales, familiares o conocidos Reforzar biofeedback Integración con BCI existente Mejorar etapa entrenamiento Respuesta en tiempo real Entornos de simulación  motivación, concentración de usuario Vivienda Virtual ETSIT Virtual Simulador Vuelo

11. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

12. Herramientas utilizadas Software de desarrollo - Para modelos complejos - Minimizan tiempo de modelado Herramienta CAD: 3D Studio Max 9 - Modelos detallados (mejor acabados) - Conversión a VRML Virtual RealityToolbox (Matlab) Interacción BCI – Mundo virtual Equipamiento hardware - PC con memoria y hardware gráfico (Pentium Core2Duo, 1Gb RAM, 256Mb tarjeta gráfica). - Polígrafo 4 canales (amplificador), tarjeta adquisición, gorro y electrodos (generador de señal).

13. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

14. Vivienda virtual • Estructura de la vivienda • Texturización de estructura Texturas Mapeo de texturas Editor de Materiales (3DStudio)

15. Vivienda virtual • Exteriores Visualización limitada  se emplean formas sencillas (poco polígonos) - Plano de suelo (césped) - Plano de horizonte - Semiesfera (cielo)

16. Vivienda virtual • Decoración interior No concebidos para VRML Número de polígonos muy elevado Elementos prediseñados Optimización Retexturización de mobiliario

17. Vivienda virtual • Decoración interior Elementos diseñados (p.e. cortinas) - Formas curvas  aprox. triángulos - En gran número en la escena Resultado final

18. ETSIT virtual • Bloques básicos

19. ETSIT virtual • Modelado de detalle Módulo de Aulas Escaleras bajada patio Salón de actos Pasillos interiores Biblioteca y cafetería Columnas

20. ETSIT virtual • Texturización PROCESO - Realización de fotografías - Obtención de texturas - Almacenamiento (JGP) - Mapeo de texturas en las geometrías Texturas para estructura Resultado final Texturas para puertas , ventanas y decoración

21. Simulador de vuelo • Cambio de perspectiva de diseño - Pocos elementos en la escena - Una textura - Importancia de la ubicación de los objetos - Sensación de movimiento Elementos de la escena Avión Plano de vuelo

22. Simulador de vuelo • Material de textura y texturización • Creación de la textura Textura definitiva (Simétrica) Cuadrícula • Texturización del plano de vuelo Modificar “gizmo” para obtener ciclicidad

23. Simulador de vuelo • Ubicación de los elementos Punto de vista PLANO AVIÓN

24. Simulador de vuelo • Ubicación de los elementos Resultado final

25. Iluminación de mundos • Iluminación Simulador • Iluminación de Vivienda y ETSIT - Luz principal (“Omni” o PointLight)  SOL - Una fuente de luz (DirectionalLight) - 3 luces de apoyo (SpotLight ) menor intensidad

26. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

27. Integración y pruebas • Integración - Paso previo adecuación de los mundos modelados: - Incorporar sensores de proximidad - Conversión a VRML - Integración de la Interfaz de navegación en el mundo virtual. Punto de Vista o Cámara Interfaz CI Interfaz NC Nodo VRML “silla”

28. Integración y pruebas • Integración con Vivienda y ETSIT • Integración con Simulador de Vuelo - El interfaz no controla la “silla”. - Punto de vista y avión inmóviles. - Implementación de movimiento - Avance , giros, ascenso y descenso. - Virtual RealityToolBox.

29. Integración y pruebas • Pruebas  Visualización de mundos OBJETIVOS  Respuesta correcta - Escalado - Respuesta en tiempo real  visualización continuada - Colisiones con objetos y estructuras - Animación de la escena al seleccionar un movimiento

30. Índice Sistema BCI Realidad Virtual y VRML Objetivos Herramientas utilizadas Modelado de los mundos Integración y pruebas Conclusiones y líneas futuras

31. Conclusiones y líneas futuras • Conclusiones - Desarrollo y diseño de mundos virtuales: - Representan ambientes reales y conocidos. - Refuerzan biofeedback del usuario. - Limites de exploración los impone el usuario. - Entornos de simulación y evaluación seguros. - Potente herramienta de modelado, limitada por VRML.

32. Conclusiones y líneas futuras • Líneas futuras Involucrar más sentidos - Aumentar inmersión del usuario Experimentación simultanea Visión estereoscópica - Incrementar interactividad entre objetos Colisiones encadenadas - Impresión más realista de los mundos OpenGL o DirectX

33. E.T.S.I.TelecomunicaciónUniversidad de Málaga DESARROLLO Y DISEÑO DE MUNDOS VIRTUALES PARA LA NAVEGACIÓN A TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín