Concepts liés au son, usage du son dans les IHM, mon projet de recherche

1. Concepts liés au son,usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002

2. Plan de l ’exposé • Concepts sur le son • Usage de sons dans les IHM • Mon projet de recherche

3. De la vibration acoustiqueau signal sonore • Son = sensation auditive engendrée par une vibration acoustique • Enregistrement de la vibration par un capteur de pression • => pression en fonction du temps = signal sonore • assimilé à la vibration acoustique pression temps

4. Mécanismes de la « sensation auditive » (1/3) • Mécanismes mis en jeu dans la sensation auditive : • localisation de la source du son • azimut = direction dans un plan horizontal • élévation = direction dans un plan vertical • distance • diffusion, orientation, occlusion, dynamique des sources … • => séparation de sources provenant d’endroits différents • processus actif : mouvements de la tête, « effet cocktail »

5. Mécanismes de la « sensation auditive » (2/3) • Mécanismes mis en jeu dans la sensation auditive : • identification de la source • comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources • => séparation des sources provenant du même endroit (« effet cocktail ») • => classification des sources en catégories => assignation d’une sémantique aux sources • intervention des autres sens

6. Mécanismes de la « sensation auditive » (3/3) • Mécanismes mis en jeu dans la sensation auditive : • analyse qualitative du son • hauteur (fréquence du signal sonore) • timbre = texture sonore • couleur (composition en fréquences) • aspects dynamiques (attaque, extinction, évolution fréq.) • intensité sonore (amplitude du signal sonore) • composition des sons (enchaînement temporel, consonance)

7. Apport du sonpar rapport à la vision (1/2) • Canal supplémentaire : • plus d’informations à la fois • décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés • média d ’ambiance : • disponible en permanence • ne nécessite pas d ’action physique • zone de perception plus étendue que devant un écran par ex. • utile lorsque les autres canaux sont saturés ou indisponibles(ex : canal visuel : petits écrans, temps de brouillard, cockpits)

8. Apport du sonpar rapport à la vision (2/2) • Outil d ’analyse • Timbre + localisation = information multidimensionnelle • => analyse de données multidimensionnelles • Analyse de corrélations temporelles

9. Les limites du son • Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs) • Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première) • Fatigue pour les sons fréquents ou répétitifs • => à utiliser avec modération et à propos

10. amplitude temps Représentationsdu son (1/3) • Représentation temporelle = signal sonore • + représentation utilisable pour l’enregistrement et la synthèse • accès à l’intensité et au temps • - pas d ’accès à la hauteur ni au timbre • Solution : faire intervenir la fréquences

11. amplitude (complexe) fréquence Représentationsdu son (2/3) • Représentation fréquentielle • + Représentation fidèle et réversible • Opérations mathématiques facilitées • Accès à la hauteur (= fréquence) • - Disparition du temps • Instabilité par rapport à la représentation temporelle • Inadaptation au temps réel • Solution : Faire intervenir à la fois le temps et la fréquence

12. fréquence temps Représentationsdu son (3/3) • Représentation temps-fréquence • + « Visualisation » du son • (hauteur, timbre, intensité, temps) • - Représentations spécialisées : • en visualisation (non linéaires : WignerVille…) • en traitement du signal (linéaires : ondelettes…) • Nécessité d ’un compromis dans les échelles temps-fréquence (Heisenberg)

13. Ex 1 : représentation temps-fréquence de sons périodiques Harmoniques = fréquencesmultiples de la fondamentale Fondamentale La fondamentale de ce son Son de clarinette • Deux processus perceptifs concurrents pour la hauteur : • la fréquence de la fondamentale (ex : son de la fondamentale) • l’intervalle entre les harmoniques (ex : transistors)

14. Ex 2 : représentation temps-fréquence de sons voisés Voyelles : Formants déterminent lavoyelle (leur répartitiondépend du sexe et du registre) Fondamentale = hauteur duson (partie voisée) è é i Consonnes : Partie bruitée instable, étalée en fréquences => hauteur ambiguë p t k

15. Ex 3 : représentation temps-fréquence d’autres sons Son de percussion : étalé en fréquence, pas de sensation nette de hauteur Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur

16. Plan de l ’exposé • Concepts sur le son • Usage de sons dans les IHM • Mon projet de recherche

17. Usage du sondans les IHM • Son en entrée : information ou bruit • traitement de signaux sonores • Son en sortie : [Pressing, 1997] • artistique (informatique musicale) • environnemental (jeux, réalité virtuelle) • informatif (monitoring, feedback, auralisation) • Hors IHM : stockage d ’enregistrements, psycho-acoustique...

18. Classification des sonsinformatifs (1/4) • L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Synthèse de parole

19. Classification des sonsinformatifs (2/4) • L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Auditory Icons (Gaver) : sons analogiques • + intuitif • - difficile à réaliser techniquement, design

20. Classification des sonsinformatifs (3/4) • L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information = sonification • Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire • + simple à réaliser • - nécessité d’apprentissage, grammaire limitée

21. Classification des sonsinformatifs (4/4) • L’information de référence est sonore : multimédia • L’information n’est pas sonore : traduction sonore de l’information= sonification • Fonction de correspondance de paramètres : transfert de la structure de l’information vers la structure du son • + sonification la plus proche de l ’information • - paramètres structurels significatifs dans l ’info • et dans le son difficiles à trouver, au cas par cas

22. Le son 3Ddans les IHM • La spatialisation de sons en IHM peut avoir pour but : • de présenter plusieurs sources grâce à l ’effet cocktail • de définir des sons réalistes (ex : réalité virtuelle) • de permettre une métaphore (ex : métaphore de l’horloge, Brewster) • de prolonger virtuellementle monde réel • (ex : RA, systèmes pour aveugles)

23. Plan de l ’exposé • Concepts sur le son • Usage de sons dans les IHM • Mon projet de recherche

24. Projet de recherche • Earcons + Phicons = Phearcons • Définitions : • Earcons (Ear Icons, Blattner) : • messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur • Phicons (Physical Icons) : • objets physiques permettant la manipulation d ’objets virtuels

25. Projet de recherche : objectifs • Concevoir et développer une plate-forme qui permet : • L’association entre un concept du domaine et un objet physique • Lien dynamique et explicite entre le monde numérique et le monde réel • L’association entre un concept du domaine et une “sonification” • Conception de l’interface en sortie • L’association entre un objet physique et une “sonification”= modification du rendu sonore par manipulation d’objets physiques • Conception de l ’interface en entrée

26. Niveau sonore chez Maman Queue d’impression Niveau sonore cafet Trafic sur l’A7 Exemples d’application • Tâches de “monitoring” • Média d’ambiance

27. Exemples d’application • Tâches de “monitoring” • Media d’ambiance + effet cocktail

28. Exemples d’application • Tâches de “monitoring” • Intérêts : • Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café) • Mémorisation accrue car l’association est faite par l’utilisateur

29. Exemples d’application • Jeu augmenté • Réalité augmentée • Spatialisation du son traduisantle déplacement effectué par l ’enfant

30. Exemples d’application • Musique • Objet physique • = • instrument de musique paramétrable

31. Plate-forme à concevoir • Flexibilité • Choix des objets physiques • Reconnaissance de la position des objets dans l ’espace • Choix des sources d’informations • Liens avec des applications existantes • Choix des sonifications

32. Plate-forme à concevoir • Définition des liens entre objets physiques, sonificationet concept du domaine : • Lien (objet physique, concept du domaine) • Multimodalité : paradigme du mets çà là • Définition par parole = « cet objet est le niveau sonoredans la cafet » + geste de désignation de l ’objet • Lien (concept du domaine, sonification) : ??? • Lien (objet physique, sonification) : ???

33. Projet de recherche :étapes de travail • Etat de l’art : applications, sonification etc. • Expérimentations fréquentes magicien d’Oz dans le playground • Espace de conception : caractéristiques pertinentes • Lien avec le processus de visualisation (thèse Fred) • Conception et développement de la plate-forme

34. Projet de recherche : exemples de problèmes (1/2) • Identifier des applications candidates • (e-mail, activité distante, cubes de jeu etc.) • Critères de correspondance entre source et sonification : • trouver les métaphores possibles par application • quelles caractéristiques ?

35. Projet de recherche : exemples de problèmes (2/2) • Conception de la plate-forme • Comment spécifier une sonification ? • Comment présenter une sonification ? • Proposer un ensemble d ’objets prédéfinis

36. MERCI !

37. Propagation de l ’ondede dépression ... Nouvelle zone en dépression Dépression Recompression Annexe 1 :Vibration acoustique Vibration acoustique = succession rapide d ’ondes de compression et de dépression Décompression Zone comprimée Nouvelle zone comprimée ... Source sonore Propagation de l’ondede compression Milieu ambiant (air, eau…)

38. élévation azimut source distance orientation direction de propagation Annexe 2 :Perception d ’une source en 3D • Azimut : • déphasage interaural •  intensité interaurale • Élévation : •  timbre (source connueou en mouvement) • Distance : • atténuation intensité, BF, HF • taux son direct / réverbéré Autres propriétés : orientation (sources directives), diffusion (sources réparties), occlusion ; Autres indices : dynamique de la source, mouvements de tête, couplage avec le visuel

39. Annexe 3 :Son 3D : dispositifs de sortie • 1 canal : distance, élévation ; ex : hauts-parleurs directifs • 2 canaux : azimut • sur hauts-parleurs : • stéréo : son entre les hauts-parleurs • « décorrélation croisée » : son venant des côtés • sur écouteurs : • stéréo : son à l’intérieur de la tête • HRTF : filtrage des oreilles • BRIR : propriétés acoustiques de la salle • Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) : meilleure précision, meilleur réalisme, • agrandissement de la zone de bonne écoute • Rares systèmes de vraie 3D (CNMAT)