Effets discursifs et calculs lexicaux sur les indices mélodiques en lecture

1. Effets discursifs et calculs lexicaux sur les indices mélodiques en lecture • Jean-Philippe MEIYE (CLIPS-IMAG) • Geneviève CAELEN-HAUMONT (CLIPS-IMAG) • Christine Joux (CLIPS-IMAG) • Danièle DUBOIS (SILEX / ENS-PARIS) • AFPLA’98 Caen, 19-20/03/98 • 1

2. Problématique Générale • But :nouvelle méthode de validation des processus cognitifs à partir de certains indices mélodiques (F0M et DF0) • Métrique des processus cognitifs : • Processus cognitifs pas directement observables • Construction d’indicateurs de paramètres • Méthodes et indicateurs actuels non satisfaisants • Contexte général des recherches : • Exemple : Effets de contexte linguistique • 2

3. Problématique Générale • Caractéristiques de notre méthode • Matériel - Texte vs. Mots • Présentation «écologique» • Paradigme - Acquisition du signal de parole • Méthode d’analyse - Echelle Temporelle et Fréquentielle (F0M et DF0) précises • Indices prosodiques (mélodiques) => indicateurs cognitifs • Prosodie = évolutions acoustiques de F0, durée et l’énergie • Mélodie = étude des variations de F0 (indices : F0Max, F0moy et F0min) • DF0 = F0Max - F0min [Caelen-Haumont, 91] • 3

4. Hypothèses • Indices fréquentiels (F0Max et DF0) => effets de contexte • Si structures contextuelles convergentes/divergentes, alors => niveau de difficulté / facilité des traitements cognitifs • Présence d’un contexte congruent => chute des valeurs des indices temporels et mélodiques (F0Max et DF0) et inversement • Différence accrue entre CN vs. CNR ou CR et moindre entre CNR vs. CR • 4

5. Expérimentation : Prosodie et compréhension • Méthode • Sujets : 10 sujets (3 Filles et 2 Garçons) • Matériel : • 20 couples d’items amorce-cible issus de la norme associative [Meiye et Brulex, 96] • 6 textes : 3 textes - CHF / 3 textes - CBF • 5

6. Expérimentation : Prosodie et compréhension • Méthode • Traitement des données • Conventions sur le matériel textuel = Extraction des tronçons cibles • Traitement des données • Convention sur le signal de parole = Etiquetage + items cibles en 1/8 tons DA FA DC FC abeille doit produire du miel Amorce Cible ISI Linguistique SOA Linguistique FSOA DSOA • 6

7. F0 Début de Mot FIN de Mot Début Cont Mélodique Déb Syll Fin F0M D F0 F0m Syll Fin Mot Contour Mélodique Mot Lexical TEMPS Calcul de F0 et DF0 dans le mot lexical Représentation spectrale d’une phrase étiquetée • 7

8. Expérimentation : Prosodie et compréhension Cible Basse Fréquence • Résultats • en fonction du paramètre durée (ms.) • Plan expérimental : S5 x <C3> • Effets significatifs du facteur contexte - Cible Haute Fréquence / VD (ms.) • Effets significatifs du facteur contexte - Cible Basse Fréquence / VD (ms.) P=.05 • 8

9. Expérimentation : Prosodie et compréhension Cible Haute Fréquence • Résultats • en fonction du paramètre DF0 (1/8ème tons) • Plan expérimental : S5 x <C3> • Effets significatifs du facteur contexte - Cible Haute Fréquence / VD (1/8) • Effets significatifs du facteur contexte - Cible Basse Fréquence / VD (1/8) P=.05 • 9

10. Expérimentation : Prosodie et multimodalité (indices de parole et oculaires) • Méthode • Prosodie et Modularité • Validation des processus automatiques vs. attentionnels • Reconceptualisation : ISI et SOA Linguistique [Dubois, 1994 ; Meiye, Caelen-Haumont et Dubois, 97] • Prosodie et Mouvements Oculaires • Recherche d’invariants entre indices prosodiques et indices oculaires. • Matériel • 6 versions textuelles déclinées en 3 modalités contextuelles • Relation Sémantique Contrôle (RS Contrôle) • Relation Sémantique Faible (RS F-) • Relation Sémantique Forte (RS F+) • 10

11. Expérimentation : Prosodie et multimodalité (indices de parole et oculaires) • Matériel • 11

12. Expérimentation : Prosodie et multimodalité (indices de parole et oculaires) miel miel miel DA FA DC FC FSOA DSOA • Prédictions SOA Court abeille doit produire du RS F+ Amorce Cible ISI Linguistique SOA Linguistique RS F- usine doit produire du RS Contrôle affiche doit produire du • 12

13. Conclusion et perspectives • Validation de la méthode d’approche • Effet significatif des paramètres mélodiques manipulés / facteur contexte • En production - résultats conforment à d’autres approches (TDL, etc.) • Plus grand est DF0 et plus le locuteur investit cognitivement la cible qu’il traite • Augmentation de DF0 => effet de surprise chez le locuteur • D’autres résultats sont en cours de traitement : • Effet du SOA Linguistique (court vs. long) => modularité des processus • Comparaison des VD (F0Max vs. DF0) • Prolongement de la validation • Processus cognitifs et multimodalités (indices prosodiques x indices oculaires) [C. Joux - DEA 98] • 13