Démarche du psychologue …

2. Démarche du psychologue … • Événement 1 : • (P)hénomène à expliquer Rappel sériel à court terme • Évènement 2 : • (S)péculation ou qui donne sens à P « Ruban magnétique et tête de lecture en mémoire de type prononciation »  • Évènement 3 : • (I)mplication qui doit être vraie Moindre capacité pour lessi S est vraie mots longs à prononcer • Évènement 4 : • Les données sont-elles congruentes La moyenne de rappel de 10 listes avec I ? composées de mots longs à prononcer est plus basse que ..

3. Démarche du psychologue Mais que fait donc le Psychologue ? SI (Spéculation) ALORS (Implication) !!!!! Le fait que l'implication soit vérifiée ne signifie en rien que la spéculation soit vraie ! La seule conclusion logiquement valide est que la spéculation n'est pas valide quand on démontre que l'implication n'est pas vérifiée Une démarche scientifique fondée exclusivement sur la falsification simple peut s'avérer plutôt perturbante et impossible à tenir au jour le jour.

4. Une solution : la comparaison de modèles Pour s'en sortir on peut avoir recours au concept de validité relative. Si dans un test où, toutes choses étant égales par ailleurs, un résultats est prédit par un modèle A alors que le modèle B ne prédit aucun effet (ou l'effet inverse) alors on peut conclure que le modèle A est "plus valide" que le modèle B. Conclusion : Les hypothèses doivent toujours s'effectuer dans le cadre d'une comparaison de modèles, et le rôle de la méthodologie experimentale est de s'assurer du "toute choses étant égales par ailleurs".

5. Démarche du psychologue 2ème partie Mais que fait donc le Psychologue ? Schèma synthetique Spéculation X Spéculation Y FACTEURS Phénomène 1 2 3 4 P A B C D -P -A B C D FACTEURS Phénomène 1 2 3 4 P ABC D -P A -BC D

6. Une solution : la comparaison de modèles Mais pas une panacée Attention cependant, le test réellement effectué est toujours: SI (Spéculation*Spéculations Annexes ) ALORS (Implication) Donc, si par la méthodologie on s'assure du "toute chose étant égale par ailleurs", on fixe également les conditions d'observation (facteurs contrôlés). Des spéculations annexes nous font croire que les facteurs que l'on contrôle ne sont théoriquement pas déterminants pour nos tests ou qu'il est inutile d'en contrôler certains. Ce n'est peut être pas le cas….

7. Relation Théorie-modèle-Simulation La place du psychologue Théorie computationelle (But, logique de la stratégie) ! Expérimentation Niveau algorithmique ? Implémentation Marr (82) : Les trois niveaux auxquels les machines traitant de l'information doivent être comprises Pour la mémoire Dominance de la métaphore spatiale et symbolique(e.g. Roediger III,1980))

8. Doit on prendre les trois manifestations de la mémoire : * Mémoire des apprentissages passés qui modifie notre comportement (sans que l'on ait besoin de prendre conscience de ces événements passés) * Mémoire du sens des choses et des relations entre les choses (sémantique, ‘ memoria ’,  ’catégorielle ’) * Mémoire des événements vécus (souvenir, ‘ remenberance ’, ’temporelle ’ ) comme preuve de l'existence de 3 systèmes mnésiques différents ?

9. Les deux sens de représentation • Au sens faible : • Correspondance regulière entre l’état physique (neurones ou groupes de neurones) d’un système en fonctionnement et les événements qu’il traite. • Au sens fort : • Structure physique (neurones ou groupes de neurones) d’un système qui correspond de manière permanente à un élément du monde extérieur.

10. Représentation au sens fortConséquences • Pour être utile, la représentation doit être accessible en dépit des variations du signal d’une rencontre à l’autre. • C’est donc un élément discret abstrait des caractéristiques idiosyncratiques de présentation • Il existerait une représentation structurale visuelle qui correspondrait aux invariants. • Défit majeur : La notion d’invariant a un sens a posteriori ; en faire la structure centrale nécessite de concevoir un système perceptif ‘particulièrement intelligent’ • Difficulté du pari …. comment intégrer l’apprentissage de nouveaux stimuli dans les modèles abstractifs.

11. Modèle classique consensuel

12. Modèles computationnels : ‘Vision’ (structurale) de Marr (1982) • Représentation 3 D • Extraction des axes d’élongation/symétrie de l’objet • Structuration des surfaces en objet perceptif en utilisant les axes de l’objet comme référentiel spatial • Représentation structurale objet-centrée. • Cette représentation est confrontée aux représentations 3D stockées en mémoire. Il y a reconnaissance s’il y a appariement. • Représentation 2.5 D • Extraction des surfaces: forme, position • Extraction centrée sur l’observateur • Extraction non organisée en structure • Représentation 2 D (Esquisse primaire) • Extraction parallèle et locale de caractéristiques 2D (segments de lignes, tâches, jonctions de lignes..) • Groupements perceptifs (textures, contours)

13. 4 4 1 Detection of Nonaccidental Properties Parsing of Regions of Concavity Biederman (1985) 4) Appariemment avec des objets stockés en mémoire Object Recognition (prototype level) 3) Assemblage des composantes volumétriques en objet Matching of Components to Object Representations Determination of Components 3 2 Jonctions de type Y (avec courbures) Jonctions internes de type Y Trois bords parallèles Jonctions externes de type flêche Bords courbes Deux bords parallèles 2) Extraction des composantes volumétriques de l’objet 1) Extraction des primitives liées aux contours locaux Edge extraction

14. TULVING (1972) il existe 3 systèmes distincts mais emboîtés * La Mémoire Procédurale * La Mémoire Sémantique agnosie * La Mémoire Episodique amnésie MS MP ME

15. Métaphore spatiale et systèmes multiples A l’origine  une considération sur les niveaux de complexité et de conscience anoëtique noëtique  autonoëtique Évolution  une conception en stocks mnésiques différents et enchâssés [Mprocédurale [Msémantique[Mépisodique]]] Rôle fondamental de l’unité symbolique comme seule constitutive du sens : Si un épisode a du sens, il ne peut être constitué que d’un assemblage de composantes sémantiques élémentaires (représentation symbolique) Ce schéma est fondamental et toujours d'actualité. « Encoding of information into the episodic system is contingent upon succesfull processing of information through the semantic system »

16.       SYNOPSIS : UNE QUESTION DE SENS Modèles fondés sur des unités de sens Abstractifs La mémoire sémantique est un ensemble organisé de représentations (nécessairement abstraites) La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode    Pré-traitements perceptifs Perception  Construction de codes abstraits (PRS- systèmes de représentation perceptive)  MS Représentations sémantiques Actualisation ME  Construction & Récupération Enregistrement des sens co-activés

17. Deux Conceptions de la Mémoire Abstractive : la mémoire est un stock de représentations Créer les représentations (Encodage) Les placer en mémoire (Stockage) Pouvoir les atteindre (Récupération)    Non Abstractive : La mémoire est la capacité à re-créer des expériences passées Trouver un système qui puisse assurer cette re-création après avoir été confronté à des exemples d’apprentissage Les systèmes multi-traces ainsi qu’une certaine utilisation de l outil connexionniste permetent d implémenter ce fonctionnement    Trouver une des configurations d'efficience «synaptique » qui permet de réaliser la fonction de re-création correspondant aux exemples appris

18. Une question de sens …       Modèles fondés sur des unités de sens  Abstractifs La mémoire épisodique est un enregistrement des unités sémantiques co-activées pendant l’épisode Modèles fondés sur des enregistrements sensoriels pluri-modaux  Non-Abstractifs (épisodiques) La mémoire (sémantique & épisodique) est issue de l'intégration d’enregistrements pluri-modaux .. .. Pré-traitements perceptifs Perception Pré-traitements perceptifs Pré-traitements perceptifs           Construction de codes abstraits (PRS) Accumulation d’enregistrements intra et inter modaux (épisodes ?) Reinjections ?  Perception  ME ? MS Représentations sémantiques Actualisation  ? Processus « Automatiques » &  « Dirigés » ME • Construction & Récupération Expérience sémantique Expérience épisodique Enregistrement des sens co-activés

19. Un modèle multi-traces : Minerva II (Hintznan 84) La MEMOIRE est un ensemble de traces épisodiques stockées  Enregistrement à chaque instant des stimulations primaires dans toutes les modalités  Aucune abstraction à l’encodage – apprentissage définit Aucune organisation : uniquement colonne d’états de ‘capteurs’ L état actuel dans l ensemble des modalités (i.e. valeurs d activation/inhibition des cellules) constitue une SONDE avant d être stockée Calcul en deux étapes : I : Activation des traces en fonction de leurs similarités à la sondeII : Détermination de l ECHO comme moyenne de toute les traces pondérées par leurs activations Un coefficient acc fort permet d augmenter la contribution des traces les plus activées  En parallèle pour chaque trace i En parallèle pour chaque composante j de l’écho 

20. Echo Echo Echo Echo ….. ???????????/???????/????….. ….. ???????????/???????/../???….. ….. ???????????/???????/????….. ….. ???????????/???????/????….. ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/Assiette/Pâtes…. ….. Fourchette/Assiette/../Faim…. ….. Fourchette/Assiette/../Faim…. ….. Fourchette/ Ecran /../Peur…. ….. Fourchette/Assiette/Salade…. ….. Fourchette/Assiette/Pâtes…. Mem Mem Mem Mem Sonde Sonde Sonde Sonde ….. Fourchette/……….….………. ….. Fourchette/ Ecran …………… ….. Fourchette/……….….………. ….. Fourchette/……….….………. Approche (très) intuitive des propriétés des modèles multi-traces  Attention : Ces propriétés ne prennent sens que pour des stimulation élémentaires issues des différentes modalités

21. Évocation de propriétés générales/ évocation d’épisode : rôle de la situation de récupération ….. Chien /aboie…/.os./…. ….. Chien /pleure…/.os./rue…. Echo Echo 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/salon…. 5) ….. Chien /aboie . /.patée./montagne. 6) ....Canari./.chante /graine./cuisine….. 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée /cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os….../salon…. 5) ….. Chien /aboie . /.patée./montagne 6) ....Canari./.chante /graine./cuisine….. Mémoire Mémoire ………..Chien / ……… …………… ………..Chien / ……… /………/rue Episodecourant Episodecourant Ici l’indice de récupération est similaire à l’ensemble des cinq traces. L’écho contient donc les propriétés générales correspondant à l’indice de récupération . Le fonctionnement favorise ici l'évocation du sens du stimulus. Ici l’épisode courant contient deux indices spécifiquement associés dans une trace. L’activation relative de cette trace étant alors plus forte, l’écho reflétera préférentiellement son contenu. Le fonctionnement favorise ici l'évocation d'un épisode particulier.

22. ….. …….…/……….. / os…../niche. ….. Chien/….…/.os./niche Echo Echo 1) .. Chien /aboie…./.os….../jardin…. 2) .. Chien /aboie…./.patée/cuisine…. 3).. Chien / pleure /.os……/rue…. 4) .. ……. /………../.os……/niche…. 5) .. Chien /aboie . /.patée./montagne 6) ..Canari./.chante /graine./cuisine….. 1) ….. Chien /aboie…./.os….../jardin…. 2) ….. Chien /aboie…./.patée/cuisine…. 3) ….. Chien / pleure /.os……/rue…. 4) ….. Chien /………../.os……/niche…. 5) ….. Chien /aboie . /.patée./montagne. 6) ..Canari./.chante /graine./cuisine….. Mémoire Mémoire ……………/ ………/ …………/niche… …………….. / ………/os …/niche…… Episodecourant Episoderéinjecté Rôle des réinjections dans l’évocation des propriétés générales Evocation initiale : l’indice de récupération permet la récupération d’éléments associés dans les traces le contenant. La réinjection de cet écho permet d’obtenir une évocation qui reflète la structure de la connaissance correspondant à l’ensemble des traces présentes en mémoire Dans un modèle muti-traces dotéde réinjections, les évocations ne sont pas un simple résumé statistique des traces contenant l’indice de récupération. Ces réinjections permettent au système mnésique d’être sensible à la structure sous jacente à l’ensemble des traces stockées en mémoire. La structure sémantique n’est pas stockée en mémoire, mais est recrée, lors de la récupération et en fonction des indices fournis.

23. Autres modalités Boucle Corticale Couche(s) periphérique ‘’filtrages perceptifs’’ Rétine Schéma de principe • Les contenus mnésique sont périphériques et transitoires • ‘Recréer la perception’ Le but du traitement est qu’en couche périphérique, la sortie des filtrages perceptifs soit égale au retour de la boucle corticale :  Auto-associationpar adaptation des connexions corticales Précablés, totalement indépendants de tout processus d’abstraction (e.g., séparation fréquentielle, séparation couleurs)

24. Autres modalités Boucle Corticale Couche périphérique ‘’filtrages perceptifs’’ Rétine Schéma de principe Lors du fonctionnement : Etudier des représentationsau sens faible * Ne fonctionnent pas à partir de représentations abstraites * Structurent la perception Réinjections

25. Vers une expression connexionniste des modèles non-abstractifs • Architecture modalitaire minimum à partir de : • Damasio (1989), Hintzman(1984), Jacoby (1983), Rousset & Schreiber (1992), etc . • Contraintes d’apprentissage : Obtenir un écho égal à l’entrée • Mémorisation : Assurée par les connexions (flèches colorées), codage intra & inter modal • Mémoire : Re-création de composantes élémentaires • Réinjections : Le système fonctionne également à partir de ses sorties (flèches rouges) • Un seul stock mnésique avec une organisation modalitaire 

26. Attention le formalisme connexionniste n’est Qu’un outil – e.g. Nadel et Moscowitch (98) NEOCORTICAL MODULES Semantic Features Spatial/Episodic Attributes HIPPOCAMPAL COMPLEX

27. Une famille de modèles Squire & Alvarez (95), Mc Clelland & Al. (95), Murre (96), Nadel & Moscowitch (97)… • Variation autour d'un même thème… • 1) Une trace épisodique est apprise très rapidement • 2) Les traces épisodique servent ensuite de professeur interne pour le système cortical ('sémantique') afin qu'il apprenne lentement la structure de cooccurrence des différents élément dans les épisodes vécus par le sujet Création d'une sémantique E.G. Bière…. Louvain….Plaisir Bière…. Bruxelle….Plaisir Bière….Grenoble…Plaisir

28. Nadel& Moscowitch (1997)… Point de vue A External episode NEOCORTICALS MODULES Semantic Features …/Episodic Attributes HIPPOCAMPAL COMPLEX

29. NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX Perception d'un épisode A • Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) • Début de liaisons entre traits sémantiques ( )  embryon de création de la sémantique

30. HIPPOCAMPAL COMPLEX Perception d'un épisode B NEOCORTICALS MODULES • Création instantanée d'une trace épisodique (cellules de l'hippocampe & ) • Renforcement ( ) et début de liaisons entre traits sémantiques ( )  vers la création de la sémantique

31. NEOCORTICALS MODULES HIPPOCAMPAL COMPLEX Re-évocation de l'épisode A • Pour tous les modèles : • renforcement de la sémantique

32. Révocation de l'épisode A NEOCORTICALS MODULES • Pour tous les modèles : • Consolidation de l'épisode au niveau cortical ( corollairement renforcement de la sémantique • Pour Nadel & Moscowitch • Création d'une nouvelle trace Episodique HIPPOCAMPAL COMPLEX

33. Réseau Hétéro-Associatif  Adaptation à des exemples d’associations Entrée (X)  Sortie (Y)  Chaque exemple contraint la fonction de re-création  Chaque synapse participe à la re-création de chaque exempleinformation distribuée  La fonction de re-création capture la structure des exemplaires appris Généralisation 

34. Réseau Auto & Hétéro-Associatif  Adaptation à des associations Entrée (X)  Entrée (X) et Sortie (Y)  Possède également les propriétés des réseaux Hétéro-Associatifs  Permet de rajouter au rappel, la familiarité et la reconnaissance  Capacité à recréer les entrées (complétion) Fondement des conceptions non-abstractives du sens  Autres représentations

35. 0.5 (a) -1/4 0 0 0 -1 (a) 0.5 … -1/4 1/4 … … -1 1 Outil connexionniste – exploration, loi de hebb Lorsque deux neurones sont simultanément activées alors le poids de la connexion qui les relie est modifié proportionnellement au produit de leur activation  Loi d apprentissage quand deux neurones sont activés par une entrée externe  Forme simple de la règle : Nouveau poids = ancien poids + [(1/nb connexions) X (ActivNeurEntréexActivNeurSortie) En (a) : nouveau poids = 0 +( ½ x (-1x0.5) ) = -1/4  Quand un neurone n est pas activé une entrée externe Calcul de la somme des entrées pondérées par les poids de connexions Activation =Sommes des (activation X Poids de connexion)  En (a) : activation = (-1x-1/4) + (1x1/4) = 0.5 Performance en rappel auto -associateur

36. Outil connexionniste, loi de Hebb force et faiblesse  Loi de Hebb dans un cadre non abstractif Pas de problème pour apprendre de nouveaux exemples (inverse des modèles abstractifs) Apprentissage supervisé Ici la mémoire n est pas un stockage mais une capacité à recréer des sortie Définie par une architecture, qui s’est modifiée, et qui traite des entrées (fonction) Remarque :si l’on considère l’ensemble [apprentissage*récupération] un auto-associateur est équivalent à Minerva II avec une accélération de 1 Problème : Comme ici il n existe aucune possibilité pour jouer sur le paramètre d accélération qui permettait de sur-discriminer les traces dans Minerva II, on ne peut apprendre que des entrées orthogonales entre elles. Conséquence : Prévoir un système d orthogonalisation Faiblesse de la généralisation Le système ne peut tirer pleinement parti des ressemblances réelles entre exemples     

37. Outil connexionniste / Correction d’erreur 0 0.5 … (a) 0.49 0.01 … … 1 1 La connexion (a) a plus participé à la sortie donc à l’erreur 0 0.5 … 1 1 … … 0.5 0.01 (a) La cellule (a) a plus participé à la sortie donc à l’erreur Principe : Au départ poids non nuls Présentation de l’entrée et calcul de la Sortie Effective Comparaison cellule par cellule (loi locale) entre Sortie Effective et Sortie Désirée Utiliser cette erreur pour modifier le poids de connexion en fonction de sa valeur et de l activation de la cellule d’entrée Limite : Ne peut apprendre les associations non linéairement séparables (exemple classique OU Exclusif) Solution : Rajouter des couches cachées, mais on ne connaît pas l erreur à ce niveau Rétropopagation du gradient des fonctions d’erreur par le poids de connexion PROBLEME : Réalisme neuromimétique (il existe néanmoins des alternatives)        

38. Principe de fonctionnement • Cellules de Sortie • Cellules Cachée • Cellules Cachées •••• • Cellules d’Entrée ••••

39. •••• •••• Principe de fonctionnement • Cellules de Sortie • Cellules Cachée • Cellules Cachées • Cellules d’Entrée

40. •••• Sortie de la cellule 1 1 •••• 0 0 1 0 Entrée totale de la cellule = Somme des activations des cellules sources * Poids de connexion Principe de fonctionnement • W : poids de connexion • Activation de S1 = f [somme(activationC * W)] Avec f fonction de seuil S1 W1 W3 W2 C1 C2 C3

41. Le seuil et son évolution De l’unidimensionnel Discontinu …  Vers le multidimensionnel Discontinu Pour aboutir à Du multidimensionnel continu et non linéaire

42. Seuil 1 Sortie de la cellule 0 Entrée totale de la cellule = Somme des activations des cellules sources * Poids de connexion 0 1

43. S1 S1 Seuil 1 Sortie de la cellule W1 W2 W1 E1 E2 E1 S1 = 1 Valeur de E2 S1 = 0 S1 = 1 S1 = 0 Valeur de E1 0 0 1 Entrée de la cellule = Somme des activations des cellules sources * Poids de connexion Valeur de E1

44. S1 S1 Wn W1 W3 W1 W2 W3 W2 … E1 E2 E3 … E1 En E2 E3 E2 E1 E3 Hyperplan ...

45. S1 S1 = 0 W1 W2 E1 E2 S1 = 1 Un micro problème… de botanique Valeur de E1 (longueur des pétales) Valeur de E1 (longueur des sépales)

46. S1 W1 W2 E1 E2 Comment ajuster le seuil (l’hyperplan) • Paramètres du problème fixes : • L’architecture (cellules, connectivité) • La fonction de seuil • Les exemples à apprendre • Paramètres libres : • Les poids de connexions [W]

47. Comment ajuster le seuil (l’hyperplan) • Entrée totale de S1=Somme(Ei*Wi) • Jouer sur la relation entre les entrées et le seuil…  en modifiant les poids suivant une régle AUTOMATIQUE, LOCALE et simple (e.g. correction d’erreur) S1 W1 S1 E1 Entrée E1 * Poid W1 Entrée E1

48. S1 S1 = 0 W1 W2 E1 E2 S1 = 1 Valeur de E1 (longueur des pétales) Valeur de E1 (longueur des sépales)

49. S1 W1 W2 E1 E2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)

50. S1 W’1 W’2 E1 E2 S1 = 1 Valeur de E1 (longueur des pétales) S1 = 0 Valeur de E1 (longueur des sépales)