High Order Ambisonics (HOA), une approche complète de la spatialisation sonore

1. High Order Ambisonics (HOA),une approche complète de la spatialisation sonore Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12

2. High Order Ambisonix,tous les bons côtés d'Ambisonix et les pouvoirs d'un super-Panoramix (sonore) Jérôme Daniel Workshop Ear Wide Open Rennes, 2008/03/12

3. sommaire 1 • quelques généralités • concepts généraux (higher order ambisonics) • encodage spatial et décodage spatial, format HOA • bénéfices en termes de restitution • restitution: holophonique, binaurale, de groupe, dispositifs surround • principe des microphones 3D HOA • approche progressive et rationalisation • récapitulatif et discussion 2 3 4 5

4. 1 introduction / généralités

5. High Order Ambisonics (HOA): un système en 3 points clés • un formataudio 3D générique and flexible basé sur un modèle pertinent de représentation du champ acoustique • une technologie rationnelle et efficace pour une "vraie" captation audio 3D • une technologie de reproduction sonore 3D adaptable à une large variété de dispositifs de haut-parleurs (et au casque)

6. Ambisonics et HOA:quelques jalons • naissance en Angleterre dans les années 70 [M.Gerzon] • ambisonics: captation et reproduction 3D (résolution spatiale minimale) • extension à des résolutions spatiales élevées ("higher order") • 1996-2000: développement des bases théoriques [Bamford, Poletti] [PhD Daniel] HOA, [PhD Nicol] liens avec WFS • 2003: améliorations… vers l'holophonie / Wave Field Synthesis [Daniel, Nicol, PhD Moreau] • depuis 2004-2005: développement, validation et démonstration du premier microphone HOA [PhD Moreau, Daniel, PhD Bertet] • reproduction binaurale dynamique (avec head-tracker) • développement et utilisation d'une suite de plugins VST

7. une approche aux points d'entrée multiples [angles d'éclairage utilisés dans cette présentation] • ingénieur du son / outils d'enregistrement, microphones, panning • mathématicien / concepts communs avec le traitement du signal • [trait. signal + acousticien / antennes, beamforming] • acousticien / propriétés du champ acoustique • psycho-acousticien / sensations spatiales auditives & localisation

8. 2 principaux concepts liés à higher order ambisonics (d'abord illustrés en 2D)

9. Front (X) Left (Y) Right + Back + - + - ambisonics (ordre 1): encodage spatial • enregistrement sonore panoramique • microphones coïncidents omni (W) et bidirectifs (X,Y)  séparationAV-AR, G-D • informations sur la propagation des ondes • format d'encodage = B-Format [Gerzon]  indépendant de tout dispositif de HP W X Y B-Format

10. Front (X) Left (Y) Right + + Back = + - + + = - - décodage spatial pour la reproduction • reproduction sur haut-parleurs • "reconstituer" un microphone par HP • recombiner les directivités du B-Format • opération de décodage: matricer W,X,Y • ... autant de HP qu'on veut, mais... • … le flou d'image sonore ne diminue pas W X Y + + B-Format

11. ambisonics d'ordre 1: avantages et limites • avantages • formatmulticanal compact • homogénéité spatiale • fidélité acoustique (pour les propriétés de propagation) • facilement extensible à la 3D (composante additionnelle Z) • flexibilité: transformation de champ acoustique; dispositifs de reproduction • microphones B-Format commercialisés (eg SoundField™) • limites • images sonores floues et instables (sweet spot très réduit) • mal adapté aux arrangements de HP irréguliers/déséquilibrés (notamment config ITU 5.1) • séparation spatiale limitée car faible directivité des micros (surtout en BF) • ... voilà peut-être pourquoi une partie des ingés son préfèrent les approches non-coïncidentes (compte-tenu des technos traditionnelles de microphone)

12. Front (X) Left (Y) Right Back Higher Order Ambisonics (HOA) • augmenter la discrimination angulaire grâce à des directivités supplémentaires • encodage spatial Transf. de Fourier circulaire • spectre spatial = {composantes ambisoniques} • largeur de bande = fréquence angulaire max spectre spatial enrichi 2nd order 3rd order 4th order 0th order 1st order

13. Front (X) Left (Y) Right Back Higher Order Ambisonics (HOA) • augmenter la discrimination angulaire grâce à des directivités supplémentaires • encodage spatial  Transf. de Fourier circulaire • spectre spatial = {composantes ambisoniques} • largeur de bande = fréquence angulaire max • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs • synthétiser des directivités plus fines • décodage spatial  beamforming multidirectionnel + + + + = = = = directivité accrue

14. Front (X) Left (Y) Right Back Higher Order Ambisonics (HOA) • augmenter la discrimination angulaire grâce à des directivités supplémentaires • encodage spatial  Transf. de Fourier circulaire • spectre spatial = {composantes ambisoniques} • largeur de bande = fréquence angulaire max • améliorer la séparation spatiale pour un usage plus sélectif des haut-parleurs • synthétiser des directivités plus fines • décodage spatial  beamforming multidirectionnel  Transf. Fourier inverse à support discret • images sonores plus précises (étalement angulaire réduit) 3rd order 4th order 1st order 2nd order

15. W X Front (X) Y Decodage : matrice (+ filtres) Left (Y) Right Back scalabilité spatiale du format HOA 1st order 2nd order 3rd order 4th order plus ou moins de composantes utilisées selon les contraintes de transmission et/ou reproduction

16. 3 bénéfices de HOA sur le plan de la restitution

17. ordre 3 ordre 4 ordre 2 ordre1 1st order 2nd order 5th order 10th order reconstruction acoustique élargie fréquence angulaire croissante (spectre spatial + riche) expansionradiale de la reconstruction acoustique (prop. longueur d'onde)

18. reconstruction "holophonique" • reconstruction en fonction de la fréquence (zone cible donnée) f=125Hz, 2nd order f=300Hz, 5th order f=450Hz, 8th order f=600Hz, 10th order • là où la reconstruction est correcte  ITD et ILD corrects  bonne localisation, stable avec le déplacement ici: hypothèse d'ondes planes (HPs "à l'infini")! or, HPs à distance finie  front d'onde "infléchi"

19. synthèse de front d'onde avec NFC-HOA • compenser le champ proche des HPs (bass-boost et déphasage) • et modéliser celui de la source virtuelle contrôle de la courbure du front d'onde (Near Field Compensated HOA) [Daniel, 2003] • sources "extérieures" et "intérieures"

20. et en dehors des conditions de reconstruction "exacte"? • ordre modérément élevé ; gamme MF/HF ; écoute excentrée • étalement/ponctualité des contributions de HP • dégradation/préservation des indices de localisation (ITD, ILD, IS) • qualité décrite par le vecteur énergie • décodage optimisable • impact sur la robustesse en écoute de groupe étalement ponctualité

21. de la reconstruction holophonique à la reconstruction binaurale • reconstruction ciblée sur une zone englobant un auditeur centré  meilleure préservation des indices de localisation bonne reconstruction jusqu'à flim (bon ITD voire ILD selon fq) "angle de flou", compte-tenu seulement des indices de loc. HF (ILD&ITD), altérés au-delà de flim • évaluation subjective pour un auditeur centré [Bertet] • précise le gain en "qualité" en fonction des ordres croissants

22. K signauxHOA K N signaux HP “virtualisation”: filtrage HRTF head-tracker reproduction sur casque extension à l'encodage et la reproduction 3D reproduction sur config 3D encodage vers Format HOA 3D • encodage et décodage 3D • reproduction binaural dynamique • approche de base: "virtualisation" binaurale des HPs • décodage optimisé: [Faure, Daniel, Emerit] • rotations de champ sonore piloté par head-tracker rotation du champ sonore décodage spatial (idem 2D)

23. = limite physique (cas extrême=pan-pot par paire de HP) compatibilité avec des dispositifs non-réguliers • configurations ITU standard and enrichies (5.0, 7.0, 8.0, etc.) • synthétiser des directivités adaptées aux angles inter-HP (couverture optimale) (exemple: décodage d'ordre 4) ◊=" vecteur énergie" (* = cible, i.e. image sonore idéale)

24. 4 principe des microphones 3D HOA

25. captation directive: approche progressive • approximation du gradient (cas "unidimensionnel") • [ex. fonction sinusoïdale: "onde pour une fréquence donnée"] • dérivée = pente, estimée entre deux points "proches" • assez rapprochés // longueur d'onde • pas trop proches non plus, car… • la différence doit se détacher du bruit de mesure! (dans la "vraie vie") • cas de la prise de son par omnis [hors capteurs de vélocité] • fonction = champ de pression • points de mesure = lieux des capteurs omni…  mêmes positions quelle que soit la longueur d'onde!! e trop petit Bruit de mesure e OK e trop grand

26. capteur de pression gain positif gain négatif + + - + - + + - - - - + + - + captation HOA: approche progressive • compromis sur l'espacement d des capteurs • BF (différences noyées dans bruit) • HF (aliasing spatial) • théoriquement, EQ BF de –m x 6dB/oct !!! • en pratique, effort relâché en BF  baisse de directivité et/ou de réponse [id pour cardio et bi] • réseau microphonique global • ici, 9 capteurs rassemblés pour 5 composantes • 5 capteurs devraient suffire pour 5 composantes!? p0 p1 p5 p8 p3 p4 p1 p4 p3 p2 p6 p7 p2 bass-boost=6dB/oct bass-boost=12dB/oct

27. N signaux captés Q signaux ambisoniques Matrice N x K rationalisation: sphère microphonique HOA • Q capsules réparties sur une sphère •  échantillonnage du champ sonore • Q=32  ordre 4, K=25 composantes HOA • traitement = matrice + égalisation • égalisation: • théoriquement -mx6dB / oct ! • on relâche l’effort en BF

28. (dB) microphone HOA: limites et compromis estimation correcte aliasing spatial 7cm, 32 capteurs • 25 comp. (ordre 4) estimation error bande spatiale réduite décalé vers BF quand diamètre décalé vers HF quand diamètre ↓

29. sphères microphoniques HOA ou assimilables prototypes de laboratoire [Moreau, Daniel, Bertet], [Meyer, Elko] [Rafaely][Farina] Univ. Maryland [Lee, Duraiswami] 64 caps ordre 6 FTR&D 32 caps  ordre 4 12 caps  ordre 2 20 caps  ordre 3 produits commercialisés (sans label "HOA") B&K (orientée mesure et imagerie acoustique) 36/50 caps.  ordre 5-6 EigenMike™ (mh-acoustics) 32 caps  ordre 4 perspectives d'amélioration [Epain 2008] • "multi-sphère" [Parthy et al] • structures particulièrement diffractantes  résoudre le compromis LF/HF

30. 5 récapitulatif et discussion

31. récapitulatif • points forts (au moins les mêmes qu'à l'ordre 1, plus…) • formatmulticanal scalable (hiérarchique) • homogénéité spatiale • fidélité acoustique+ "haute définition spatiale"  reconstruction "holophonique" • extension à la 3D - spatialisation binaurale efficace • encore plus de flexibilité: transformations spatiales; config de reproduction, y compris irrégulières (surround ITU) • microphones HOA (à « haute résolution spatiale  ») • points faibles • aucun?  ... vraiment? peut-être les "défauts de ses qualités" !? • marge d'amélioration sur les outils (microphones, etc.)

32. contextes d'usage • contextes d'utilisation potentiels • prise de son artistique (musicale, théâtrale…), documentaire… • partage d'ambiances sonores 3D • captation / reproduction sonore immersive pour des "proches à distance" • amélioration de l'audioconférence • gain en intelligibilité et confort • nouvelles perspectives de création et de "consommation" de contenu audio 3D • … un contenu pour une reproduction 2D ou 3D, statique ou interactive,de haute ou basse résolution, selon les contraintes

33. pour discussion… • HOA par rapport à des approches plus traditionnelles • famille "coïncidente" / panning d'amplitude (car DT=0) • … mais captation par micros non-coïncidents  séparation spatiale • approche rationnelle qui tente d'exploiter au mieux les informations spatiales captées • mais comme pour toutes les techniques, pas exempte d'artefact ! • … certains artefacts sont-ils préférables à d'autres ? • un parti-pris: une certaine "fidélité" acoustique (effets de propagation / localisation) ≠ approche purement artistique • privilégie l'immersion, homogénéité • outils à mettre aux mains des ingés sons • approche artistique: "trahir" éventuellement la réalité acoustique (pour l'embellir ou la corriger) mais bénéficier de la solidité des infos spatiales • marges d'amélioration • éléments technologiques perfectibles (microphones, etc.) • outils de post-prod, mixage 3D, retouches spatiales

34. 6 système mis en œuvre pour "ears wide open"

35. le microphone HOA • 20 DPA4060 arrangés suivant les sommets d'un dodécaèdre • sur une boule de 7,5cm de diamètre • ordre 3 (16 composantes 3D) • effort modéré en BF (+6dB de bruit) • (éléments défectueux dans la chaîne d'acquisition)

36. la restitution HOA (2D) • configurations ITU 5.0 et "enrichie" 8.0 • suite de plugins VST HOA de FTR&D • démonstration de "recadrage" par rotations, etc. • appoints non exploités

37. merci pour votre attention