Domaines d’intérêt Traitement du signal et des images

1. UE NEO234  Les aspects computationnelles du contrôle moteur Les modèles du contrôle moteur volontaire T. Selim Eskiizmirliler (Ph.D ENST, MCF Paris 7) • Domaines d’intérêt • Traitement du signal et des images • Fusion des informations sensori-motrices au niveau du SNC • Muscles artificiels • Systèmes de Contrôle inspirés de la biologie • Contrôle sensori-moteur des mvms de la main (biologique et artificielle) • Bureau + Lab: INSERM U.742 -ANIM, 7 quai St. Bernard, Bâtiment A, 2ème étage, Pièce A203, Jussieu, 75005, Paris • E-mail: selim@ccr.jussieu.fr • URL: http://www.aass.oru.se/~ser/ • Tél.: 01 44 27 23 79

2. UE NEO234   Les aspects computationnelles du contrôle moteur • Séance 1 : • Rappel des aspects neurobiologiques du Contrôle Moteur. • Les aspects computationnels du contrôle moteur • Les modèles des circuits neuronaux, Ex: Modèle du cervelet Séance 2 : • Modélisation de la fusion des Informations Sensori-Motrices • Application du modèle proposé à la prédiction des cinétoses dans les trains pendulaires à grande vitesse (TGV pendulaire). • Application du modèle au contrôle d’un actionneur à 1 ddl mû par des muscles pneumatiques de McKibben. • Séance 3: • Une architecture multi réseaux d’apprentissage multimodale pour contrôle moteur des mvm d’atteindre et de saisir inspirée de la connectivité cortico cortical. • Application du modèle sur un bras « anthropomorphique » à 7 ddl équipé d’une main à 3 doigts. • Projet Européens PALOMA, NEUROBOTICS. • Projets actuels de l’équipe 2 de l’INSERM U742 • Qu’est-ce qui se passe ailleurs?

3. UE NEO234 / Un peu d’histoire La science est où le plaisir et la curiosité se rencontrent. St. Augustin • May be not since Aristotle (384-322 BCE), • who believed that the brain is composed of soil and water , • but, since Herophilus (330-260BC) , • who took the decisive step by identifying the nerves of movement and sentiment, and hereby, located the intelligence in the brain, • it is known that the sensory and motor regions of the Central Nervous System (CNS) exchange information via anatomical connections and so they provide the PERCEPTION and THE CONTROL OF BODY MOVEMENTS. Anatomical drawing by Leonard de Vinci. The Santa Maria Nuova hospital, Florence (1504-1507).

4. UE NEO234 / Un peu d’histoire

5. Apprentissage, contrôle, Coordination des mouvements UE NEO234  Les aspects neurobiologiques du mouvement volontaire Architecture et fonctions

6. UE NEO234  Les aspects neurobiologiques du mouvement volontaire Le boucle sensori-moteur et la position des modèles internes du contrôle sensori-moteur dans le boucle Wolpert & Ghahramani, Nature 2000

7. UE NEO234  Les aspects neurobiologiques du mouvement volontaire Propriétés neuronales L’activité des neurones du cortex moteur est liée à la force musculaire. Le neurone corticospinal spécifique du flexion du poignet ne code que la force mais pas le déplacement. Evarts (1968)

8. UE NEO234  Les aspects neurobiologiques du mouvement volontaire Propriétés neuronales L’activité des neurones du cortex moteur dépend de la tâche. Muir et Lemon (1983) Cheney et Fetz (1980)

9. UE NEO234  Les aspects neurobiologiques du mouvement volontaire Propriétés neuronales La voie corticospinale directe est nécessaire pour le contrôle fin des doigts. L’activité des neurones du cortex moteur dépend de la direction du mouvement. Georgopoulos et al. (1982) Lawrence et Kuypers (1968)

10. UE NEO234  Les aspects computationnels du contrôle moteur • Où est la tasse? Où est mon bras? – Intégration des informations sensorielles – Référentiels, systèmes de coordonnées • Comment atteindre la tasse? – Choix et formation d’une trajectoire – Equivalence motrice, redondance cinématique • Comment calculer la commande motrice? – Choix des muscles et des activations musculaires – Redondance dynamique • La commande est-elle correcte? – Corrections en ligne : rétroaction sensorielle – Boucle ouverte ou boucle fermée? • Comment faire mieux la prochaine fois? – Adaptation, apprentissage moteur

11. UE NEO234  Les aspects computationnels du contrôle moteur Où est la tasse? Où est mon bras? • Modalités : vision, audition, proprioception, … – Fusion multimodale • Référentiels – Position de la cible : définie dans un repère fixe (terre) mais perçue dans un repère en mouvement (corps) – Position du bras : définie dans le repère du corps – Dans quel espace le mouvement est-il représenté? Perenin et Vighetto (1988)

12. UE NEO234  Les aspects computationnels du contrôle moteur Comment atteindre la tasse? • Choix d’une trajectoire – Chemin dans l’espace (de la tâche) – Parcours temporel sur de la trajectoire • Formation d’une trajectoire – Effecteur (DEGRÉS DE LIBERTÉ, ÉQUIVALENCE MOTRICE) – Trajectoire articulaire (REDONDANCE) • Mathématiquement : cinématique inverse – Transformation de coordonnées – Problème « mal posé » (ill-posed problem)

13. UE NEO234  Les aspects computationnels du contrôle moteur Comment calculer la commande motrice? • Calcul des couples articulaires – Pour réaliser la trajectoire articulaire désirée • Distribution des forces – Redondance dynamique • Mathématiquement : dynamique inverse

14. UE NEO234  Les aspects computationnels du contrôle moteur La commande est-elle correcte? • Sources d’erreur – Localisation de la cible (cible/oeil, oeil/tête, tête/corps) – Localisation de la main et posture du bras (visible ou non) – Estimation des grandeurs physiques (longueur, masse, inertie) – Approximation des transformations – Perturbations (e.g. la cible a bougé) – Bruit • Solution : correction en ligne – Utilisation de la vision et de la proprioception – Délais dans les retours sensoriels • Points-clé – Débat non résolu : boucle ouverte ou boucle fermée? – Programme moteur vs élaboration en ligne – Réflexe vs volontaire

15. UE NEO234  Les aspects computationnels du contrôle moteur Comment faire mieux la prochaine fois? • Adaptation, apprentissage moteur – Interface biomécanique : outils, télémanipulateur – Transformations visiomotrices (gains, rotations, …) – Transformations dynamiques (inertie, viscosité, raideur) • Nature des apprentissages – Temporaire / permanent – Interférences – Apprentissage vs développement • Construction – Signaux d’erreur – Etapes d’apprentissage

16. UE NEO234  Les modèles computationnels du contrôle moteur Systèmes dynamiques Etat interne. Ex: objet ponctuel soumis à une force. Pour définir le mouvement de l’objet, il faut connaître sa masse, l’histoire des forces appliquées et les conditions initiales (position, vitesse). – La position et la vitesse représentent l’état interne du système. – Intérêt de la notion d’état : le corps humain possède 600 muscles qui sont en première approximation soit contractés soit relachés. Il existe donc 2^600 activations motrices (plus que le nombre d’atomes dans l’univers). – L’état interne est une représentation simplifiée, compacte extraite de ces activations.

17. UE NEO234  Les modèles computationnels du contrôle moteur Systèmes dynamiques • Contrôle. Trouver l’entrée (contrôle) de façon que la sortie (observation) se comporte d’une certaine façon. – Rester près d’une valeur de référence : Régulateur; rester proche d’une trajectoire désirée : problème de suivi. • Estimation. La valeur de l’entrée peut être calculée en fonction de l’état si celui-ci est disponible. – De façon générale, seule une estimation de l’état est disponible. L’estimation a pour but construire une représentation de l’état courant à partir de l’histoire des sorties (observations). • Rétroaction. Un signal de contrôle a un effet attendu qui peut ne pas se réaliser en raison de perturbations ou d’inexactitudes dans la connaissance du système. – Une rétroaction est nécessaire pour comparer la performance courante et la performance désirée et décider d’un effet compensatoire sur les entrées. La rétroaction doit être appropriée (instabilité, performances pauvres).

18. UE NEO234  Les modèles computationnels du contrôle moteur Contrôle en boucle fermée Erreur bien définie, limite sur le gain, delai dans la boucle, pas de prédiction. Utilisation : mouvements lents, posture. Types de contrôle Proportionnel Dérivatif : amortissement pour éviter les oscillations Intégral : pour éviter les erreurs d’équilibre (le terme intégral augmente le couple de plus en plus jusqu’à annuler l’erreur)

19. UE NEO234  Les modèles computationnels du contrôle moteur Contrôle en boucle fermée

20. UE NEO234  Les modèles computationnels du contrôle moteur Contrôle en boucle ouverte

21. UE NEO234  Les modèles computationnels du contrôle moteur Modèles internes • Modèle direct : modèle de la relation causale entre les actions et leurs conséquences. Permet de prédire le comportement d’un système (corps, monde extérieur, ...). – Un modèle direct de la dynamique d’un bras prend en entrée l’état courant du bras (positions et vitesses) et les commandes générées par un contrôleur pour produire une estimation du nouvel état. • Modèle inverse : modèle de la relation entre les conséquence désirées et les actions. – Un modèle inverse de la dynamique d’un bras prend en entrée la trajectoire désirée pour produire les commandes appropriées à la réalisation de cette trajectoire.

22. UE NEO234  Les modèles computationnels du contrôle moteur Modèles internes

23. UE NEO234  Les modèles computationnels du contrôle moteur modèles directs Pour empêcher un objet de glisser dans la main, une force de prise (normale, grip force) doit être exercée pour compenser la force de charge (tangentielle, load force).

24. UE NEO234  Les modèles computationnels du contrôle moteur modèles directs Un sujet évoque une stimulation tactile sur la peau d’une main à travers une interface robotique manipulée par l’autre main. Lorsque le mouvement d’une main est transmis directement à l’autre main, le sujet soustrait l’effet sensoriel prédit de l’effet sensoriel réel de la stimulation tactile. Le sujet ne perçoit pas de « chatouillement » . Au contraire, lorsqu’un délai est introduit entre l’action d’une main et la stimulation tactile, le sujet perçoit une erreur de prédiction qui se traduit par une sensation de chatouillement.

25. UE NEO234  Les modèles computationnels du contrôle moteur modèles directs Les sujets estiment la position de leur main à la fin d’un mouvement exécuté dans le noir. Dans certains cas, une force externe est appliquée à la main. Les erreurs varient en fonction de la durée du mouvement et sont décrites par la propagation temporelle du biais et de la variance. Utilisation combinée d’un modèle interne direct (prédiction du déplacement à partir des commandes motrices) et d’informations sensorielles afférentes. Les données ne peuvent être expliquées par l’un des deux composants seul.

26. UE NEO234  Les modèles computationnels du contrôle moteur Rôle des modèles directs • Un système peut utiliser un modèle direct plutôt qu’une rétroaction externe pour déterminer l’effet d’une commande et l’erreur associée. L’utilisation de l’effet prédit permet d’éviter l’instabilité inhérente aux délais de rétroaction → Prédiction sur le comportement du corps et du monde. • Estimation de l’état du corps. Observateur, filtre de Kalman.

27. UE NEO234  Les modèles computationnels du contrôle moteur modèles inverses Une activité EMG est observée dans des muscles qui agissent à des articulations stationnaires pendant des mouvements du coude ou de l’épaule. Cette activité ressemble aux activités agoniste-antagoniste observées pendant le mouvement. De plus elle démarre avant le mouvement et son amplitude varie avec la vitesse du mouvement de l’articulation non stationnaire (c-à-d avec le couple d’interaction produit par le segment en mouvement).

28. UE NEO234  Les modèles computationnels du contrôle moteur Apprentissage d’un modèle direct Un modèle direct utilise une copie de la commande pour prédire les conséquences d’une action. Cette prédiction peut être comparée à la conséquence réelle pour générer un signal d’erreur de prédiction, qui peut être utilisé pour mettre à jour le modèle. Wolpert et Flanagan (2001)

29. UE NEO234  Les modèles computationnels du contrôle moteur Apprentissage direct inverse Une transformation est apprise en échantillonnant la transformation inverse. Ex: apprentissage de la relation comportement désiré →

30. UE NEO234  Les modèles computationnels du contrôle moteur Apprentissage distal supervisé Les actions sont des variables proximales (i.e. que l’étudiant contrôle directement). Les conséquences des actions sont des variables distales. L’étudiant forme un modèle interne prédictif (modèle direct/forward) en explorant les résultats associés avec le choix de certaines actions. Ce modèle interne est utilisé pour apprendre la relation entre intentions et actions.

31. UE NEO234  Les modèles computationnels du contrôle moteur Apprentissage distal supervisé L’apprentissage du modèle inverse utilise l’erreur de performance (différence entre résultat attendu et résultat actuel). Le modèle direct traduit cette erreur dans l’espace distal en une erreur dans l’espace proximal qui permet de superviser l’apprentissage du modèle inverse. L’apprentissage est correct même si le modèle est imprécis.

32. UE NEO234  Les modèles computationnels du contrôle moteur Feedback-error learning Un contrôleur feedback est utilisé pour corriger l’erreur entre l’état courant et l’état désiré. Il en résulte une commande feedback qui s’ajoute à la commande feedforward générée par le modèle inverse. La commande feedback devient nulle quand l’erreur est nulle. Elle peut être utilisée comme un signal d’erreur pour entraîner le modèle inverse.

33. UE NEO234  Les modèles computationnels du contrôle moteur Synthèse

34. UE NEO234  Les modèles des circuits neuronaux du contrôle moteur Les modèles du cortex cérebral: Marr 1971 Banquet et coll. (1998) Cohen et Eichenhaum (1993) Zipser (1991) et Zipser et coll (1993) Grossberg (1973-1997) Bullock & Grossberg (1998) Les modèles des ganglions de la base: Bullock & Grossberg (1988) Monchi & Taylor (1995) Gullapali et coll. (1995) Dominet et coll. (1992-1995) Les modèles du cervelet: Marr (1969) Albus (1971) Fujita (1982) Pellionisz (1986) Gluck et coll. (1990) Chauvet (1991) Bullock et coll. (1994) Fiala et coll. (1996) Schweighofer, Arbib, Dominey (1996)

35. UE NEO234  Le modèle du cervelet CEREBELLUM ENTREES SORTIES Mossy Fibers Signaux de commandes Cortex Cérébral (sensory-motor activity) Signaux de rétroaction Système vestibulaire (balance) Formation Réticulaire (alerting) Position of joints Tension in tendons Velocity of contraction of muscles Pressure on skin Purkinje cell Eyes Mouth Arms Hands, Fingers Legs Foots, Toes

36. UE NEO234  Le modèle du cervelet The principal cells and fiber systems of the cerebellar cortex. Cross section of Cerebellar cortex. Schematic representation of the main connections between primary cerebellar cortex cells.

37. UE NEO234  Le modèle du cervelet, CMAC, Albus (1971, 1990) Modèle théorique du cervelet La représentation schématique de CMAC Marr (1969), Albus (1975, 1990) CMAC est défini par une série de cartographes (mappings) et où S = input vector M = set of mossy fiber used to encode S A = set of granule cells contacted by M p = output (Purkinje cell) où C=Symbolic motor commands + desired velocity, force etc. F= Actual joint position, the tension on tendon etc.

38. UE NEO234  Le modèle du cervelet, CMAC Mapping The INFORMATION FLOW IN CMAC Encoding Quantizing functions for K=4, N=2 Two variable, N=2, CMAC with K=4 quantizing functions on each variable and 25 granule cells for each permutation of corresponding quantizing functions.

39. Mapping The for for if moves to Bc will drop out to be replaced by Cc UE NEO234  Le modèle du cervelet, CMAC • Each granule cell receives input from several different mossy fibers, and no two granule cells receive input from the same combination of mossy fibers. • Example: Then the active granule cells can be computed as

40. UE NEO234  Le modèle du cervelet, CMAC

41. UE NEO234  Le modèle du cervelet, CMAC Le flux d’information pour un robot à 7 ddl contrôlé par 7 CMACs. Deux trajectoires similaires TPa et TPb pour un mouvement élémentaire <SLAP> qui ont été apprises par les 7 CMACs.

42. UE NEO234  Le modèle du cervelet, CMAC L’effet de l'interférence d’apprentissage. Si l’apprentissage on Tpaest interrompu par une trajectoire similaire TPb, on observe une dégradation de la performance sur Tpa. Des itérations répétitives surmontent cette interférence d’apprentissage ou l’inhibition rétroactive. La performance d’apprentissage et de généralisation de CMAC pour le mouvement <SLAP> Tpa.