1 / 11

“PARTITURA 3D: Un modelo de sonificación de imágenes”

“PARTITURA 3D: Un modelo de sonificación de imágenes”. Alberto Carretero Aguado Proyecto Fin de Carrera Ingeniería Técnica en Informática de Sistemas Departamento de Matemática Aplicada I Tutor: D. Pedro Real Jurado Sevilla, septiembre de 2007. 1.- Resumen e Introducción.

sidney
Download Presentation

“PARTITURA 3D: Un modelo de sonificación de imágenes”

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. “PARTITURA 3D: Un modelo de sonificación de imágenes” Alberto Carretero Aguado Proyecto Fin de Carrera Ingeniería Técnica en Informática de Sistemas Departamento de Matemática Aplicada I Tutor: D. Pedro Real Jurado Sevilla, septiembre de 2007

  2. 1.- Resumen e Introducción • Diseñaremos una aplicación llamada “PARTITURA-3D”, que realiza una conversión de vóxeles de imágenes 3D generadas por VOXELO a sonidos sintéticos o pregrabados en la tarjeta de sonido. • Interés matemático, tecnológico, artístico y pedagógico: • Topología y parámetros de las imágenes digitales • Estudio del fenómeno sonoro e implementación de las principales técnicas de síntesis • Aplicación en sistemas pedagógicos y de composición musical algorítmica

  3. 2.- ¿Qué es el sonido y cómo se digitaliza? • La señal sonora. Parámetros físicos (amplitud, frecuencia, forma de onda, fase…) y musicales (altura, intensidad, timbre, duración…) • Espectros: componentes parciales del sonido. Teorema de Fourier • Representación del sonido digital. Sampling (Teorema de Nyquist)

  4. 3.- Las imágenes 3D con VOXELO • Características de la herramienta VOXELO y modo de uso para el propósito de la sonificación. • Fichero de texto que genera para la comunicación con PARTITURA-3D. • Posibles mejoras de futuro en cuanto a la conexión entre las dos aplicaciones. Trabajo conjunto entre los desarrolladores.

  5. 4.- Teoría aplicada en la implementación de la sonificación de imágenes • Problemas de la sonificación de imágenes 2D (conversión ImagenSonido) • Clasificación de métodos • Mapeo de parámetros (parcial o total) • Control virtual de objetos y simulación sonora • Formas de concebir el tiempo (parámetro esencial del sonido a diferencia de la imagen) • Escaneo (caso particular: escaneo “Raster”) • Sondeo • Punteros y caminos • Extrapolación a imágenes 3D  Problemas de superposiciones

  6. 5.- Teoría aplicada en la implementación de la síntesis de sonido • Modulación de frecuencia (FM) y de anillo • LFO: Low frequency oscillator • Filtros (síntesis sustractiva) • Delay (retardo) • Localización espacial del sonido (panorámica en estéreo) • Asignación de parámetros del sonido en nuestra sonificación 3D • Eje X: Intensidad • Eje Y: Altura y panorámica • Eje Z: Tiempo • Color (RGB): Timbre 

  7. 6.- El lenguaje MAX/MSP • Entorno de desarrollo creado en el IRCAM del Centro de Arte Contemporáneo “Georges Pompidou” de París. Comercializa Cycling’74 • Filosofía de programación: Objetos, conexiones, mensajes. Tiempo real • Interfaz gráfica. Lenguaje interpretado que se ejecuta sobre la marcha • Control MIDI en MAX. Módulos de Audio en MSP

  8. 7.- Esquema de la implementación • Patch principal: Sonificación de imágenes • Interpretación de fichero de VOXELO: Analizador sintáctico • Creación de listas de notas. Operaciones conjuntistas • Asignación de canales MIDI. Problema de superposición • Módulo de secuenciación: reproducción en el tiempo de eventos MIDI almacenados • Patch auxiliar: Síntesis de sonidos • Sintetizador con dos osciladores y posibilidad de FM o anillo • Efectos: LFO, Filtro, Envolvente de Amplitud, Delay, Panorámica • Almacenamiento de resultados en fichero WAV convencional (u otro formato estándar)

  9. 8.- La aplicación PARTITURA-3D • Instalación de VOXELO, MAX/MSP Runtime y PARTITURA 3-D • Síntesis de sonidos  modo manual o automático • Ajustes de parámetros deseados para la sonificación • Completar el proceso para obtener sonido a partir de la imagen 3D

  10. 9.- Escenarios de pruebas • Prueba a  Ejemplos simples de pocos sonidos, formas geométricas • Prueba b  “Cumpleaños feliz” en modo MIDI y síntesis automática • Prueba c  “Microinvención”: Modo manual de síntesis

  11. 10.- Conclusiones y miras de futuro • Valoración de resultados de este proyecto interdisciplinar: música y nuevas tecnologías. Comprobación de objetivos iniciales. • Otros trabajos en el campo de la sonificación de imágenes • Aplicaciones: medicina, discapacitados, música, danza… • Centros de investigación en todo el mundo • Centrados sobre todo en imágenes 2D (3D  innovador) • Evaluación del software. Posibles mejoras o variantes. Conversión a PD: Open Source. Integración con VOXELO. Difusión. • Aplicaciones en el campo artístico y pedagógico • Las bases del proceso inverso: “Imagenización de sonidos” • Aplicaciones de esta transformación: P2P, nuevas transformaciones de imágenes. • Investigación de tercer ciclo universitario en un futuro  I + D + I

More Related