1 / 102

Mercredi 24 juin 2009

Présentation de la plateforme Planning. Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle). Mercredi 24 juin 2009. Gwenaelle LO BUE Annie RIALLAND Rachid RIDOUANE Jacqueline VAISSIERE Avec la participation des étudiants et ex-étudiants dont

owen-ross
Download Presentation

Mercredi 24 juin 2009

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Présentation de la plateforme Planning Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  2. Gwenaelle LO BUE • Annie RIALLAND • Rachid RIDOUANE • Jacqueline VAISSIERE • Avec la participation des étudiants et ex-étudiants • dont • Audrey ACHER (échographe) • Laurianne GEORGETON (Qualisys) • Julie MONTAGU (micro nasal) • Les auteurs • Angélique AMELOT • Daniel BRASNU • Nick CLEMENTS • Lise CREVIER • Cécile FOUGERON • Cédric GENDROT • Pierre HALLE • Stéphane HANS • Dana HARTL • Kiyoshi HONDA (EPGG) • Shinji MAEDA (EPGG) • Accueil Présentation de la plateforme Planning Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  3. Présentation de la plateforme multisenseurs • Accueil • Accueil Présentation de la plateforme Planning • Présentation générale Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  4. Présentation de la plateforme multisenseurs Pourquoi multisenseurs? • Accueil • Présentation générale Présentation de la plateforme Planning Présentation de la plateforme Multisenseurs Pour assurer les conclusions Bcp de résultats publiés entachés d’erreurs !!! : Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  5. Présentation de la plateforme multisenseurs Pourquoi multisenseurs? • Accueil • Présentation générale Présentation de la plateforme Planning Présentation de la plateforme multisenseurs pour assurer les conclusions Bcp de résultats publiés entachés d’erreurs : Production Acoustique perception Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  6. oM LF Spectrogramme Signal Acoustique Chute en fin fibroscopie VP le plus bas pour LF DAN, avec une petite fuite nasale Débit nasal Débit oral F0 Rapport F0 et DAO 2ème répétition 6 6

  7. Restrictions de cette présentation: pas l’aspect acoustique ! Signal comme intermédiaire entre production et perception • Accueil Présentation de la plateforme Planning Cependant spécialités du laboratoire dans le domaine acoustique: a) Cours de spectrogrammes b) Modélisation articulatoire : Production Acoustique perception Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  8. Présentation de la plateforme multisenseurs Les applications ??? • Accueil Description des langues, dialectes Voix normales et pathologiques, accents étrangers, expression des attitudes, émotions, etc Enseignement des langues Clinique, diagnostic, remédiation Etc. • Présentation générale Présentation de la plateforme Planning : Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  9. Présentation de la plateforme multisenseurs Le planning de la journée ??? • Accueil • Présentation générale Présentation de la plateforme Planning : 10h-11h présentation 11h-13h30 ateliers Après-midi discussions Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  10. Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 EVA/EGG ECHOGRAPHE EPGG PIEZO/MICRONASAL /INTENSITE PERCEPTION/ BASES DE DONNEES 11h 11h30 12h 12h30 13h Groupe 1 Atelier 1 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Groupe 2 Atelier 2 Atelier 3 Atelier 4 Atelier 5 Atelier 1 Groupe 3 Atelier 3 Atelier 4 Atelier 5 Atelier 1 Atelier 2 Groupe 4 Atelier 4 Atelier 5 Atelier 3 Atelier 4 Atelier 5 Groupe 5 Atelier 1 Atelier 3 Atelier 5 Atelier 2 Atelier 4

  11. Présentation de la plateforme multisenseurs Et après ??? • Accueil • Présentation générale Présentation de la plateforme Planning Collaboration Formations Visite partie labo Hôpital Européen Georges Pompidou Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  12. Présentation de la plateforme multisenseurs • Accueil • Présentation générale Présentation de la plateforme Planning Deux sites HEGP : Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) ILPGA Mercredi 24 juin 2009

  13. 1) HEGP Hopital Européen Georges Pompidou ORL Professeur Daniel Brasnu

  14. INSTRUMENTATION : endoscope HEGP INSTRUMENTATION : stroboscope INSTRUMENTATION : Camera ultra rapide INSTRUMENTATION : Photonasodétecteur

  15. INSTRUMENTATION : endoscope INSTRUMENTATION : stroboscope INSTRUMENTATION : Camera ultra rapide INSTRUMENTATION : Photonasodétecteur

  16. Parois pharyngée postérieure Parois pharyngées latérales Velum INSTRUMENTATION : Photonasodétecteur Présentation de la plateforme PHOTONASODETECTEUR Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  17. INSTRUMENTATION : Photonasodétecteur : Permet d’estimer l’ouverture du port vélopharyngé Parois pharyngée postérieure Parois pharyngées latérales Velum Présentation de la plateforme PHOTONASODETECTEUR Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  18. PRINCIPE • Un capteur de lumière (en dessous du voile du palais) • Une source de lumière (diffusé à travers un fibroscope ou une ampoule) BILAN Présentation de la plateforme PHOTONASODETECTEUR LPP 19, rue des Bernardins75005 Paris Les mesures portent sur la différence de quantité de lumière en sortie

  19. HISTORIQUE Inventé par John Ohala BILAN Présentation de la plateforme PHOTONASODETECTEUR Fabriqué au LPP en 2006 LPP 19, rue des Bernardins75005 Paris

  20. PRISE DE DONNEES d d a d Vn a BILAN Présentation de la plateforme PHOTONASODETECTEUR Durée de la voyelle nasale VN Durée de l’ouverture OV LPP 19, rue des Bernardins75005 Paris Durée du mouvement vélaire MV 20

  21. Degré d’ouverture Amplitude du mouvement PRISE DE DONNEES (2) BILAN Présentation de la plateforme PHOTONASODETECTEUR LPP 19, rue des Bernardins75005 Paris Dispositif invasif : Enregistrements à l’hôpital Traitement des données sur Matlab

  22. TRAVAUX EN COURS • Estimation du degrés d’ouverture du port vélopharyngé durant la production des voyelles et des consonnes du français • Mesure du temps de réaction du capteur BILAN Présentation de la plateforme PHOTONASODETECTEUR LPP 19, rue des Bernardins75005 Paris

  23. 2) ILPGA INSTRUMENTATION : Electrophographie a) Les instrumentations sans ateliers INSTRUMENTATION : Qualisys

  24. ILPGA INSTRUMENTATION : Electropalatographie 5 Présentation de la plateforme Palatographie dynamique Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  25. PRINCIPE La palatographie permet de visualiser le contact de la langue sur le palais et donc d’étudier l’articulation des consonnes linguales et des voyelles (hautes). 5 BILAN En palatographie statique, la langue (enduite d’un mélange coloré) laisse une empreinte sur le palais, que l’on photographie à l’aide d’un miroir inséré dans la bouche du sujet après chaque articulation. Limite : l’articulation d’un seul son, à un moment T, peut être étudiée à chaque prise de vue. Présentation de la plateforme Electropalatographie (EPG) [baa] LPP 19, rue des Bernardins75005 Paris R. Katiwada

  26. PRINCIPE La palatographie dynamique (EPG) permet d’enregistrer le contact de la langue sur le palais au cours du temps. 5 BILAN Le locuteur porte un palais artificiel, fabriqué à partir de son empreinte dentaire, couvert d'électrodes et relié à un ordinateur. Présentation de la plateforme Electropalatographie (EPG) A chaque contact de la langue sur les électrodes, un signal électrique est envoyé à l'ordinateur et le contact apparaît sur une représentation stylisée du palais à l'écran.

  27. PRISE DEDONNEES(1) Le système EPG au LPP est l’EPG3 (Reading)et les données sont acquises avec le logiciel Articulate Assistant(A. Wrench Articulate Instrument). Les palais artificiels sont fabriqués pour chaque locuteur à partir d’une empreinte dentaire. En résines acryliques (épaisseur env. 1,5 mm), ils sont couverts de 62 électrodes. BILAN Présentation de la plateforme Electropalatographie (EPG) LPP 19, rue des Bernardins75005 Paris Palais artificiel sur son empreinte position des électrodes sur l’empreinte dentaire • Locuteurs ayant un palais au LPP: 6 français, 1 américain et 4 berbères. (Grove Orthodontics)

  28. DONNEES (1) • Des données spatio-temporelles permettant une description de l’articulation des consonnes, des voyelles (hautes), de la coarticulation... • des informations spatiales : la localisation du contact sur le palais, son étendue et sa forme renseignent sur le lieu, le degré et la forme de la constriction… BILAN Présentation de la plateforme Electropalatographie (EPG) Consonnes françaises (contexte /a_a/)

  29. DONNEES (2) • des informations temporelles sur le déroulement de l’articulation permettent de décrire différentes phases articulatoires : ex. apparition du contact linguopalatal, formation de la constriction, relâchement… BILAN temps Présentation de la plateforme Electropalatographie (EPG)

  30. DONNEES (3) • des informations temporelles sur la coordination entre évènements articulatoires appartenant à des sons en contexte (alignement, chevauchement) BILAN sequence /tk.t/, berbère Présentation de la plateforme Electropalatographie (EPG) e.g. /tk.t/ item 01, Condition A (C2 nucleus), rep. 4

  31. DONNEES BRUTES (4) Différents types de mesures BILAN Présentation de la plateforme Electropalatographie (EPG)

  32. AVANTAGES • Peu invasif • Mise en place rapide (avec une adaptation au palais nécessaire pour le sujet) • Analyse relativement facile • Bonne résolution temporelle (fréquenced’échantillonnage : 100Hz, buffer d’acquisition : 20 sec.) • Possibilité de coupler avec une autre instrumentation 5 Présentation de la plateforme Electropalatographie (EPG) LIMITES • Coût des palais artificiels spécifiques à chaque locuteur • L’articulation linguopalatale visible est limitée • à la zone couverte par le palais (dento-alvéolaire à vélaire)

  33. TRAVAUX EN COURS AU LPP • En palatographie dynamique : • Articulation des consonnes en fonction de leur position dans la syllabe en berbère • Cohésion gestuelle au sein de la syllabe • Clusters sous-jacents et séquences consonantiques issues de la chute de schwa • Avec la palatographie statique : • Articulation des rétroflexes en népali – R. Khatiwada • Articulation des emphatiques en arabe marocain – K. Shoul • Articulation de patients suivant anastomose hypoglosso-faciale – Gatignol, Fougeron et al. BILAN Présentation de la plateforme Electropalatographie (EPG)

  34. RESSOURCES, QUE LIRE? Références LPP • Fougeron, C. & Ridouane, R. (2008). On the phonetic implementation of syllabic consonants and vowel-less syllables in Tashlhiyt. Estudios de Fonética Experimental 18, 139-175. • Fougeron C. (2001) Articulatory properties of initial segments in several prosodic constituents in French. Journal of Phonetics, 29(2), 109-135. • Fougeron C., Meynadier, Y. & Demolin D. (2000). 62 vs. 96 electrodes : a comparative analysis of Reading and Kay Elemetrics EPG pseudo-palates. Proc. 5th Speech Production Workshop. Kloster Seeon, Germany. Références extérieures • Hardcastle, W. (1972). The use of electropalatography in phonetic research. Phonetica, 25, 197-215. • Marchal, A. (1988). La palatographie. Marseille: C.N.R.S. • Recasens D. (1991). An electropalatographic and acoustic study of consonant-to-vowel coarticulation. J. of Phonetics, 19,77-192. • Gibbon, F. & Nicolaidis, K. (1999). Palatography. In W. J. Hardcastle & N. Hewlett (eds.), Coarticulation: Theory, Data and Techniques, 229-244. Cambridge: CUP. BILAN Présentation de la plateforme Electropalatographie (EPG)

  35. ILPGA INSTRUMENTATION : Qualisys ? 6 Présentation de la plateforme Palatographie dynamique Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  36. PRINCIPE Le Qualisys permet d’enregistrer le déplacement de marqueurs positionnés sur le visage/corps du locuteur et donc d’étudier les mouvements des organes sur lesquels ces marqueurs sont placés (lèvres, sourcils, mains…). 6 BILAN Présentation de la plateforme Motion capture Qualisys • Études sur l’articulation labiale des sons, sur la coarticulation labiale, sur les mouvements de la mâchoire… • Études sur la gestuelle, le pointage, les émotions/attitudes, les contrastes perceptibles sur le visage, l’intégration des informations audio et visuelles…

  37. PRINCIPE Des caméras, placées autour du locuteur, émettent un rayonnement infrarouge qui est réfléchi par des marqueurs positionnés à des positions cibles sur le locuteur. Ce rayonnement est alors capté simultanément par ces mêmes caméras sous des angles différents de façon à permettre une reconstruction 3D de la position des marqueurs. 6 BILAN Présentation de la plateforme Motion capture Qualisys

  38. PRISE DEDONNEES(1) Le LPP est équipé de 4 caméras Oqus 3 permettant une capture à 500Hz. BILAN Des marqueurs réfléchissants passifs de différentes tailles sont collés avec un adhésif double face sur le visage/corps du locuteur à des positions cibles (lèvres, sourcils, mains…) Présentation de la plateforme Motion capture Qualisys

  39. PRISE DEDONNEES(3) En plus des capteurs cibles, on positionne des capteurs relativement fixes de façon à pouvoir calculer la position des capteurs cibles relativement à un référentiel stable, afin de compenser pour des mouvements parasites comme les mouvements de la tête du sujet. 6 BILAN Présentation de la plateforme Motion capture Qualisys Ici un référentiel x, y, z est calculé à partir de 5 capteurs : arrête du nez, front droit et gauche, tempes droite et gauche (sur microcasque) La position des capteurs sur les lèvres est calculée par rapport à ce référentiel

  40. PRISE DE DONNEES (4) • Un long travail de préparation (essentiel pour un bon suivi des marqueurs) : • Positionnement et calibration des caméras = env. 1h • Préparation du sujet : ex. mise en place de 10 capteurs réfléchissants = env. 20 min. 6 BILAN Présentation de la plateforme Motion capture Qualisys

  41. DONNEES BRUTES Enregistrement des données vidéo 3D par le logiciel QTM (Qualisys Track Manager) 6 BILAN Présentation de la plateforme Motion capture Qualisys Analyse des données (matrices de coordonnées x, y, z donnant la position des marqueurs) sous QTM ou Matlab

  42. DONNEES BRUTES 6 BILAN Étirement des lèvres pour les voyelles /a, u, y, i/ dans différentes émotions actées (L. Georgeton 2009)

  43. RESSOURCES, QUE LIRE? Référence LPP • Lauriane Georgeton (2009), Etude acoustique, perceptive et articulatoire (mouvements des lèvres) lors d’émotions simulées en français. Mémoire de M2, LPP, dir. J. Vaissière Références extérieures • Barbu-Roth, M., Anderson, D.I., Després, A., Provasi, J., & Campos, J.J. (2009). Neonatal stepping in relation to terrestrial optic flow. Child Development, 80(1), 8-14. • J. Jiang,  A. Alwan ,  L. E. Bernstein ,  P. Keating (2000) On the Correlation between Facial Movements, Tongue Movements and Speech, Proc of ICSLP2000 • G. Svanfeldt, M. Nordstrand, B. Granström, & D. House (2003) Measurements of articulatory variation in expressive speech PHONUM 9 (2003), 53-56 • J. Beskow, O. Engwall & B. Granström (2003) Simultaneous measurements of facial and intraoral articulation, PHONUM 9 (2003), 57-60 BILAN Présentation de la plateforme Motion capture Qualisys

  44. 2) ILPGA • 1) EVA/EGG b) Les instrumentations avec ateliers • 2) ECHOGRAPHE • 3) EPGG • 4) PIEZO/MICRONASAL/INTENSITE • 5) PERCEPTION/BASES DE DONNEES

  45. ILPGA • Présentation de la plateforme multisenseurs • Accueil • Présentation générale Presentation de la plateforme Les ateliers • Les ateliers Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  46. ILPGA • 5 ateliers • 1) EVA/EGG Chambre sourde • 2) ECHOGRAPHE • 3) EPGG Presentation de la plateforme EVA/EGG Salle PC • 4) PIEZO/MICRONASAL/INTENSITE • 5) PERCEPTION/BASES DE DONNEES Salle Mac Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  47. Atelier 1A ILPGA INSTRUMENTATION : EVA Chambre sourde A Présentation de la plateforme EVA/EGG Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  48. Atelier 1B ILPGA INSTRUMENTATION : EGG Chambre sourde B Présentation de la plateforme EVA/EGG Alexis Michaud Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  49. ILPGA C • A) EVA/EGG • B) ECHOGRAPHE Salle Rousselot Atelier 2 • C) EPGG Presentation de la plateforme ECHOGRAPHE • D) PIEZO/MICRONASAL/INTENSITE • E) PERCEPTION/BASES DE DONNEES Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

  50. Atelier 2 ILPGA INSTRUMENTATION : ECHOGRAPHE Salle Rousselot C Présentation de la plateforme ECHOGRAPHE Laboratoire de Phonétique et Phonologie UMR 7018 (CNRS, Sorbonne Nouvelle) Mercredi 24 juin 2009

More Related