Jury : Ludovic Ferrand Rapporteur Hervé Glotin Examinateur Jonathan Grainger Co-directeur Bernard Lété Rap

1. Auto-organisation des représentations lexicales au cours de l’apprentissage de la lecture approches comportementale, électrophysiologique et neuro-computationnelle Soutenance de thèse de Stéphane Dufau Doctorat Neurosciences - Université de Provence Jury : Ludovic Ferrand Rapporteur Hervé Glotin Examinateur Jonathan Grainger Co-directeur Bernard Lété Rapporteur Claude Touzet Co-directeur Johannes Ziegler Président

2. Introduction Propriétés des mots lettres sons mot écrit sens sons lettres mot parlé sens

3. Introduction Propriétés des mots lettres sons mot écrit sens sons lettres mot parlé mot écrit mot parlé sens Le modèle triangulaire, Seidenberg et McClelland (1989)

4. Introduction Les deux voies d’accès au sens unités sémantiques mots orthographiques mots phonologiques O P unités orthographiques unités phonologiques mot écrit mot parlé Le modèle bimodal d’activation interactive (Grainger et Ferrand, 1994)

5. Introduction Objectifs de la thèse Partie 1 : expérience en EEG Objectif comprendre les mécanismes de traitement de l’information impliqués dans la reconnaissance de mots écrits Questions quelle est la nature des représentations orthographiques (lettres, groupes de lettres, mot entier)? à quel moment ces représentations sont-elles utilisées? Partie 2 : modélisation

6. Partie 1 - EEG La voie orthographique • Processus commun aux tâches de dénomination, de décision lexicale et d’identification perceptive, de catégorisation sémantique, … effectuées en laboratoire • Exemple : la catégorisation sémantique

7. Haut voisinage Bas voisinage amplitude (µV) -2 temps (ms) 200 100 Partie 1 - EEG Catégorisation sémantique en EEG (1) • L’EEG nous informe sur le décours temporel du traitement du mot • Complexe N1/P2 (précoce) et composante N400 (plus tardive) • N400 est modulée par des facteurs lexicaux (densité de voisinage, fréquence des mots) N1 N400 P2 Van Petten et Kutas (1991) ; Holcomb, Grainger et O’Rourke (2002)

8. Partie 1 - EEG Amorçage masqué Série de stimuli visuels • Manipulation des relations orthographiques entre l’amorce et la cible • Effet de répétition de l’amorce (traitement cognitif plus rapide et plus précis de la cible) Procedure EEG

9. Répété Non répété amplitude (µV) -2 temps (ms) 200 100 Partie 1 - EEG Amorçage masqué en EEG • Complexe N1/P2, N400 + composante N250 • A quels traitements correspondent ces composantes? N1 N250 N400 P2 Grainger et Holcomb (2006)

10. Partie 1 - EEG Expérience de Chauncey et al. (2008) La répétition de l’amorce recouvre beaucoup de conditions Expérience avec manipulation du facteur Police • Amorce toujours en ARIAL • Cible en ARIAL • Cible en GIGI Chauncey, Holcomb et Grainger (2008)

11. Partie 1 - EEG Résultats de Chauncey et al. (2008) • Résultats N/P150 est sensible à l’interaction Répétition x Police N250 et N400 sensibles à la Répétition quelque soit la Police ns ns arial - arial * Répétition x police répété *** ns *** *** *** *** non répété Répétition arial -gigi répété non répété N/P150 N250 N400 Chauncey, Holcomb et Grainger (2008)

12. Partie 1 - EEG Critique de Chauncey et al. (2008) • Différents processus orthographiques élémentaires selon les conditions : ARIAL – GIGI suppose une projection des lettres (dépendants de la police) sur une forme canonique de lettre ARIAL – ARIAL ne met pas en jeu ce processus • Cela fragilise les résultats et leur interprétation • Nécessite un facteur plus robuste que le changement de Police le changement de position horizontale

13. Partie 1 - EEG Expérience en EEG (1) Conditions Répétition x Position horizontale Avantage du facteur position les mêmes processus orthographiques élémentaires Positions CIBLE - toujours présentée au centre AMORCE - décalée d’une lettre à gauche - décalée d’une lettre à droite - présentée au centre Dufau, Grainger & Holcomb (2008)

14. Partie 1 - EEG Expérience en EEG (2) Méthode • Catégorisation sémantique avec amorçage masqué • 25 participants adultes • 450 mots (4 à 6 lettres, moyenne fréquence) • 50 essais x 2 (Répétition) x 3 (Position) • Analyse des potentiels évoqués

15. Partie 1 - EEG Résultats N/P150 table- table table table -table table Pas d’effet Sensibilité au recouvrement des lettres Pas d’effet

16. Partie 1 - EEG Résultats N250 et N400 table- table table table -table table Sensibilité à la répétition Sensibilité à la répétition Sensibilité à la répétition

17. Partie 1 - EEG Résultats - A 150 ms, le lecteur est sensible à la position horizontale du stimulus (ainsi qu’à la police) - A 250 ms, le lecteur n’est plus sensible à la position horizontale du stimulus - La nature de la représentation orthographique entre 150 et 250 ms a donc changé

18. Partie 1 - EEG Interprétation Position dépendant Position indépendant T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E A TABLE T B L E Lettres indépendantes entre elles Combinaisons ordonnéesde lettres Mot entier 0 – 200 ms De la rétine aux lettres 200 – 400 ms Des lettres au mot Grainger et van Heuven (2003); Grainger, Rey, Dufau (2008); Rey, Dufau, Massol, Grainger (sous presse)

19. Partie 1 - EEG Discussion • N250 est une composante décrite en 2006 qui reflète un traitement intermédiaire (position indépendant) entre les lettres isolées (position dépendantes) et le mot entier (position indépendant) • A quelle manipulation la N250 est-elle sensible? • Expériences avec Stéphanie Massol manipulant le recouvrement orthographique entre l’amorce et la cible • Facteurs : lexicalité (mot ou nonmot) x voisinage x répétition • Effet d’amorçage N250 identique sur les cibles ‘mots’ quand l’amorce est un voisin orthographique (mot ou nonmot) • Effet d’amorçage N400 différent suivant la lexicalité de l’amorce  N250 est sensible au recouvrement orthographique (nb de lettres communes) • La N250 reflète un processus sous-lexical et la N400 le processus lexical Massol, Grainger, Dufau & Holcomb (2008)

20. Partie 1 - EEG Conclusion EEG Ces résultats sont d’un intérêt particulier pour notre modélisation : la représentation orthographique sous-lexicale directement reliée au processus lexical est indépendante de la position absolue des lettres N400 TABLE Mot orthographique T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E Combinaisons ordonnées de lettres indépendantes de la position N250 Détecteurs de lettres dépendants de la position N/P150 Traits visuels

21. Objectifs de la thèse Partie 1 : expérience en EEG Objectif comprendre les mécanismes de traitement de l’information impliqués dans la reconnaissance de mots écrits Questions quelle est la nature des représentations orthographiques? à quel moment ces représentations sont-elles utilisées? Partie 2 : modélisation Objectif évaluer la capacité d’un modèle à apprentissage non supervisé de représenter les mots au cours de l’apprentissage de la lecture Questions - les combinaisons ordonnées de lettres sont-elles des unités orthographiques plausibles? - l’apprentissage implicite des formes orthographiques du modèle peut-il rendre compte des performances mesurées chez des enfants?

22. Partie 2 - Modélisation Modèle du lecteur expert Activation interactive utilisé dans l’établissement d’une représentation lexicale chez le lecteur expert : - les entrées sont des traits visuels qui activent des lettres - compétition lexicale (l’entrée TABLE active le mot TABLE et les mots voisins orthographiquement comme SABLE et CABLE) - niveau d’activation au repos des mots (les mots fréquents ont un niveau de repos plus élevé que ceux de plus basse fréquence) TABLE Mot LettresPosition absolue Traits visuels McClelland & Rumelhart (1981)

23. Partie 2 - Modélisation Modèle du lecteur expert Activation interactive – Exemple du mot BLUR

24. Partie 2 - Modélisation Modèle du lecteur expert mécanisme de lecture du produit de l’activation par seuil harm harp have hard harp

25. Partie 2 - Modélisation Modèle actuel du lecteur expert Activation interactive - propose une explication aux phénomènes lexicaux de fréquence et de voisinage orthographique - modèle sans apprentissage - les poids de connexions entre lettres et mots sont fixes - implémentation ad-hoc de la fréquence - les entrées du modèle sont des lettres (position absolue)

26. Partie 2 - Modélisation Modifications proposées • Les entrées du modèle sont des combinaisons ordonnées de lettres indépendantes de la position • Utilisation d’un apprentissage modifiant les poids de connexions entre les lettres et les mots • Apprentissage d’un corpus réaliste • Apprentissage implicite (vs. explicite; pas de connaissance a priori des mots) • modèle du lecteur expert (une évaluation à la fin de l’apprentissage sur des données comportementales adultes) • modèle de l’apprenti-lecteur (multiples évaluations au cours de l’apprentissage sur des données enfants du CP au CM2)

27. C H U T Partie 2 - Modélisation Entrées du modèle Les entrées du modèle sont des combinaisons ordonnées de lettres: bigrammes ouverts Par exemple, le mot CHUT = (CH, CU, CT, HU, HT, UT) Attribution d’une valeur numérique en fonction de la position des lettres C H U T .7 .5 .5 .6 CH CU CTHU HTUT .6.6.65.5 .55.55 Grainger & van Heuven (2003)

28. Partie 2 - Modélisation Base d’apprentissage MANULEX - 54 manuels scolaires (2 millions de mots) du CP au CM2 - la fréquence des mots par niveau scolaire - l’ordre d’apparition des mots du CP au CM2 - permet de réaliser des expérimentations sur un matériel linguistique contrôlé Construction de corpus réaliste - une liste de mots pour chaque niveau d’études (CP au CM2) respectant la variation des fréquences d’occurrence entre les niveaux Lété et al. (2004)

29. chair chut nylon agir -n y l o n- -c h a i r- -c h u t- • a g i r - Partie 2 - Modélisation Apprentissage implicite : carte auto-organisatrice Espace des sorties Organisation des mots en fonction de leurs propriétés (fréquence, voisinage, âge d’acquisition) Processus d’apprentissage Bigrammes des motsprésentés un à un Espace des entrées

30. Partie 2 - Modélisation Représentation du lexique orthographique La carte auto-organisatrice - respecte la topologie de l’espace d’entrée (voisinage) - respecte la fréquence d’apparition des mots (fréquence lexicale) - respecte l’ordre d’apparition des mots (âge d’acquisition)

31. AA AB AC AD … ZZ Partie 2 - Modélisation Architecture et algorithme Conditions initiales Les unités sont interconnectées. Les poids de connexions sont randomisés. Présentation d’un mot Un mot codé par un vecteur de 1681 valeurs (bigrammes) se projette sur un espace de 200 x 200 unités. Une unité de la carte est déclarée gagnante (meilleure représentante du mot). Ses poids associés sont mis à jour en fonction de la valeur des bigrammes en entrée. Les poids des unités voisines sont également mises à jour. Kohonen (1982)

32. Partie 2 - Modélisation Simulation • 120 cartes auto-organisatrices (24 par niveau d’études) • Les poids de connexion de chaque carte sont utilisés dans un réseau d’activation interactive • Une mesure de performance (temps de réaction et pourcentage d’erreur) est réalisée sur 56 mots • 14 HF & HV • 14 HF & BV • 14 BF & HV • 14 BF & BV • Ces résultats sont comparés à ceux mesurés dans une tâche de décision lexicale chez l’enfant (Bernard Lété) Dufau et al. (soumis); Lété et al. (en préparation)

33. Partie 2 - Modélisation Résultats sur les temps de réaction Effet des facteurs - Niveau d’études - Fréquence Interaction - Niveau d’études x Fréquence Pas d’effet ni interaction

34. Partie 2 - Modélisation Résultats sur les erreurs Effet des facteurs - Niveau d’études - Fréquence Interaction - Niveau d’études x Fréquence Pas d’effet ni interaction

35. Partie 2 - Modélisation Contribution de la carte auto-organisatrice Comparaison de modèles modèle d’activation interactive avec lettre modèle d’activation interactive avec bigramme modèle d’activation interactive avec bigramme + poids de connexions Mesure de corrélation ( 56 items x 5 niveaux = 280 points de mesure vs. TR enfants)

36. Partie 2 - Modélisation Conclusion Les performances du modèle CA+AI sont dues à une certaine plausibilité • Choix des bigrammes ouverts comme entrées du modèle. • La carte auto-organisatrice est un modèle d’apprentissage implicite uniquement guidé par les entrées. • Choix d’une base d’apprentissage réaliste. Ce modèle nous renseigne sur l’émergence chez le lecteur des effets de fréquence et de voisinage orthographique qui peuvent découler d’un apprentissage implicite

37. Partie 2 - Modélisation Mise en perspective • Le modèle CA+AI n’est représentatif que d’une partie des processus de la reconnaissance des mots écrits • Il existe d’autres modèles implémentés, incluant la voie phonologique • PDP: modèle à apprentissage par retro-propagation d’erreur (peu à même de représenter un apprentissage implicite) • CDP+: modèle le plus abouti, sans apprentissage, utilise AI classique comme module orthographique • Intégration de CDP+ et CA+AI • à différentes étapes d’apprentissage : modèle développemental • à la fin de l’apprentissage : meilleure performance que AI classique?

38. Conclusion Résumé Nous avons vu que - la technique d’amorçage masqué en EEG permet de mettre en lumière les différentes représentations des mots au cours du temps - un modèle implémentant un apprentissage implicite des formes orthographiques est à même de simuler les performances mesurées chez les enfants - l’effet de fréquence chez l’enfant est présent dès la fin du CP

39. Conclusion • Articles EEG • - Dufau, S., Grainger, J., & Holcomb, P.J. (2008). Cognitive, Affective and Behavioral Neuroscience. • Massol, S., Grainger, J., Dufau, S., Holcomb, P. (en révision). Journal of Experimental Psychology: Human, Perception and Performance. • Rey, A., Dufau, S., Massol, S. & Grainger, J. (sous presse). Cognitive Neuropsychology. • Articles modélisation • - Dufau, S., Lété, B., Touzet, C., Glotin, H., Ziegler, J.C., Grainger, J. (soumis). European Journal of Cognitive Psychology. Projet ANR porté par Jonathan Grainger. • - Grainger, J., Rey, A., & Dufau, S. (2008). Trends in Cognitive Sciences. • Conférences ESCOP 2007, NEUROCOMP 2008, NEUROCOMP 2006, EDSVS 2005, LECA 2005 • Chapitre Dufau, S., Touzet, C., & Grainger, J. (2006). Lisibilité des mots sur le Web : ce que nous apprend la modélisation de la reconnaissance orthographique.

41. Approche comportementale • Décision lexicale

42. Modèles implémentés (4) Modèle triangulaire utilisé dans l’établissement des liens ortho-phonologiques - les entrées orthographiques sont des ensemble de 3 lettres contigües - les informations sont représentés de façon distribuée (pattern d’activation) - algorithme d’apprentissage qui permet, à la fin de l’apprentissage, de catégoriser les entrées en fonction de leur régularité statistique (effet de fréquence, lexicalité, consistance) unités sémantiques mots phonologiques mots orthographiques Seidenberg & McClelland (1989)

43. Mot orthographique Lettres indépendantes de la position TABLE Lettres indépendantesde la forme T-A T-B T-L T-E A-B A-L A-E B-L B-E L-E Partie 1 - EEG Catégorisation sémantique en EEG (2) Liaison EEG / modèle N400 N1/P2 Traits visuels

44. Partie 1 - EEG Résultats N250 et N400