1 / 57

Audio et spatialisation du son

Audio et spatialisation du son. Nicolas Tsingos. Motivation. L’apport du son est indéniable films, jeux vidéos, simulation, réalité virtuelle le son augmente le réalisme et la sensation d ’immersion. Motivation. Le son doit être cohérent avec les visuels synchronisation

yelena
Download Presentation

Audio et spatialisation du son

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Audio et spatialisation du son Nicolas Tsingos

  2. Motivation • L’apport du son est indéniable • films, jeux vidéos, simulation, réalité virtuelle • le son augmente le réalisme et la sensation d ’immersion

  3. Motivation • Le son doit être cohérent avec les visuels • synchronisation • cohérence des effets (distance, position, etc.)

  4. Introduction au son physique • Onde mécanique • compression/dilatation des molécules du milieu • pas de son dans le vide ! • créée par un corps en vibration • caractérisée par le niveau de pression acoustique (Pa ou N.m-2) • également mesurée en décibels (dB) : 20 log10(P/Préf)

  5. Ondes harmoniques • Onde sphérique: • P(r,t) = Po/r sin(t - kr ) •  = 2f (pulsation) • k = /c (nombre d’onde) • = 2 /k (longueur d’onde) • = kr (phase) r

  6. Introduction au son physique • Ordres de grandeur • célérité : 340 m/s (air) 1000 m/s (eau/métal) • fréquences: 0 - 400 kHz (audible de 20Hz à 20kHz) • longueur d’onde : 100m - 1mm • Lumière: • célérité : 3.108 m/s (vide) • fréquences: 1011 - 1017 Hz • longueur d’ondes: 7.8x10-7 m (rouge) - 3.9x10-7 m (violet)

  7. Ondes complexes • Peuvent se décomposer en ondes harmoniques • décomposition linéaire • Analyse de Fourier • FFT par blocs • spectrogramme

  8. Ondes complexes

  9. Propagation du son • Sources/Auditeur en mouvement • Effet Doppler

  10. Propagation du son • Réflexion • spéculaire • Diffraction du son

  11. Propagation du son • Réverbération • superposition de réflexions/diffractions du sonau cours du temps • particulièrement sensible dans les espaces clos

  12. Perception du son • L’oreille est un récepteur complexe • le tympan mesure la pression acoustique • convertie en atomes temps-fréquence par le cortex

  13. Perception du son • Nous somme sensibles à l’intensité(intégrale temporelle du carré de la pression) • Fréquences audibles: 20Hz- 20kHz • Dynamique: 1012 W.m2 (120 dB) du seuil d’audition au seuil de douleur

  14. Perception du son

  15. Perception du son • Filtrage en « bandes critiques » • membrane basilaire (cochlée) • le son est découpé en 25 bandes • 1/3 octave

  16. Perception du son • Masquage • Effet de précédence : pour des signaux similaires le premier arrivé à l’auditeur masque le second (essayez avec votre chaine hifi) • Masquage temporel : un son fort masque un son faible immédiatement après…et même avant ! • Masquage fréquentiel: une fréquence masque les fréquences voisines (+ dans les basses)

  17. Perception du son • Le spectre et la phase du son sont plus importants que les variations de la pression

  18. Perception du son • la perception binaurale (des 2 oreilles) donne des indications de direction en 3D

  19. Le son numérique • Acquisition du son • microphone • convertit les variations de pression en variations d’intensité électrique • Numérisation du son • convertit les variations d’intensité electrique en bits • Pulse Code Modulation (PCM) • quantisation et fréquence d’échantillonage

  20. Le son numérique • Quantisation • nombre de bits utiliséspour encoder l’amplitude du signal • virgule fixe ou virgule flottante • linéaire ou non-linéaire • pas assez de résolution => bruit • détermine la dynamique possible du signal

  21. Le son numérique • Fréquence d’échantillonnage (sampling rate) • combien de fois par seconde va-t-on représenter la valeur du signal • Théorème de Shannon: il faut échantillonner à au moins 2x la plus haute fréquence contenue dans le signal pour ne pas avoir de pertes

  22. Le son numérique • Quelques chiffres • CD : 16 bits, entiers, 44100 Hz • Téléphone: 8 bits, entiers, 8kHz, non linéaire • DVD: jusqu’à 192kHz, 24 bits, entiers

  23. * Spatialisation du son

  24. Spatialisation du son • Positionnement du son dans l’espace • différence de temps d’arrivée aux oreilles • masquage/diffraction par le torse et la tête • filtrage complexe dû aux réflexions/diffractions dans le pavillon de l’oreille => dépend de la direction d’incidence

  25. Direct dB Reflections Reverb 0dB DecayTime Reflections Delay time Reverb Delay Spatialisation du son • Réverbération • Modèle géométrique • Construire les réflexions • En déduire un filtre • Modèle perceptif • approximation statistique • réverberation artificielle • contrôle par critères perceptifs

  26. Réverbération par convolution • Réponse impulsionelle • la réponse d’un système lorsquel’entrée est une impulsion (Dirac) • suffit à décrire le système • Convolution

  27. Calcul de réponse impulsionelle • Ray-tracing

  28. Calcul de réponse impulsionelle • For each path • Build path filter • Add to impulse response • Convolve signal chunk with “long” filter Need for a convolution engine Best-suited to static environments

  29. Calcul de réponse impulsionelle • For each path • Build “short” path filter • Convolve with a chunk of input signal • Mix contribution to output Convolution per path Supports interpolation of paths attributes and filters

  30. dB 0 dB time Attributs perceptifs • Acoustique des salles (design de salles de concert)

  31. Attributs perceptifs • Acoustique des salles • Total energy (amplification) dB 0 dB time

  32. Attributs perceptifs • Acoustique des salles • Total energy (amplification) • Decay time (reverberance) dB 0 dB time

  33. Attributs perceptifs • Acoustique des salles • Total energy (amplification) • Decay time (reverberance) • Direct/reflected ratio (proximity) dB 0 dB time

  34. Attributs perceptifs • Acoustique des salles • Total energy (amplification) • Decay time (reverberance) • Direct/reflected ratio (proximity) • Early/late ratio (intelligibility) dB 0 dB time

  35. Attributs perceptifs • Acoustique des salles • Total energy (amplification) • Decay time (reverberance) • Direct/reflected ratio (proximity) • Early/late ratio (intelligibility) • Initial delay time (room size) dB 0 dB time

  36. Attributs perceptifs • Acoustique des salles • Total energy (amplification) • Decay time (reverberance) • Direct/reflected ratio (proximity) • Early/late ratio (intelligibility) • Initial delay time (room size) dB 0 dB time

  37. Attributs perceptifs • Acoustique des salles • Total energy (amplification) • Decay time (reverberance) • Direct/reflected ratio (proximity) • Early/late ratio (intelligibility) • Initial delay time (room size) • Lateral energy fraction dB 0 dB time

  38. dB time Hz Attributs perceptifs On divise la réponse impulsionelle en 3 parties • le son direct • reflexions précoces • réverbération (tardive) fréquences: 3 bandes • basses [20-500 Hz] • médium [500-2000 Hz] • aigus [2000+ Hz]

  39. Attributs perceptifs • Distribution spatiale (typique) son direct: directionel réflexions individuelles: directionelles réverberation: diffuse (de partout) • Réflexions précoces ne sont pas séparées mais:- le son direct peut être bloqué - echos audibles (environmt. extérieurs) - “phasing” avec les sources en mouvement

  40. A t g 1 1 t g 2 2 t g N N Reverbération artificielle • Plus efficace qu’une convolution directe matrice de feedback atténuation delai

  41. Spatialisateur multi-channel output bus filter gain pan pan reverberation block source processing block Reverb. Refl.

  42. Positionement 3D du son • Systèmes de restitution • stéréo • multi-haut parleur

  43. Positionement 3D du son • En stéréo • pas besoin de plus ! • appliquer une paire de filtres à un signal mono • filtres sont directionels • HRTFs • Head Related Transfer Functions • mesurés ou simulés • dépendent de l’auditeur

  44. Positionement 3D du son • Extension à des enceintes stéréo • transaural stereo • suppression des cheminscroisés (cross-talk)

  45. Positionement 3D du son • Multi-haut parleur • Son surround 5.1 et + • Ambisonics • Holophonie

  46. Technique Setup(# chans) DSP elevation imaging Sweet spot recording HRTF light (2) moderate yes v.good n/a yes Transaural light (2+) moderate yes good small yes AmplitudePanning average (4+) low yes (3D array) average small ? Ambisonics average (4+) moderate yes(3D array) good small yes WFS heavy (100+) high ? v.good n/a ? Récapitulatif

  47. Standards • Direct Sound 3D • spatialisation, reverberation, effets • EAX (Creative Labs) • OpenAL (multi-plateforme) => support hardware par les cartes sons 64 voix 3D + 4 reverb simultanées • MPEG4 audio • JAVA 3D

  48. Compression du son • Quantization et fréquence d’échantillonage • Quantization non uniforme • Adaptive Differential PCM (ADPCM) • Perceptual audio coding (PAC)

  49. Quantization et échantillonnage • Réduire le nombre de bits • introduit du bruit de quantization • limite la dynamique • Réduire la fréquence d ’échantillonage • limite la réponse en fréquence • Peut marcher pour certains signaux (voix,…)

  50. Quantization non uniforme • Donner plus de résolution aux signaux de faible amplitude • quantization logarithmique • -law (US) et A-law (europe) • 14/16 bits représentés sur 8 bits • téléphone

More Related