Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller

1. Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant : Jérémie Mattout Proche collaborateur : Emmanuel Maby Septembre 2009 – Décembre 2012 Laboratoire : Centre de Recherche en Neurosciences de Lyon – EquipeDycog Financement : ANR Co-Adapt 21 Décembre 2012

2. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Introduction sur les Interfaces Cerveau-Machine Classification ou régression Transformation en commande numérique Décision Sélection de marqueurs Acquisition de signal feedback • Applications : • Monitoring • Restauration fonctionnelle • Rééducation fonctionnelle • Non médicales (jeu vidéo, monitoring…) ICM : interface de communication directe entre un cerveau et un dispositif externe

3. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Exemple d’une ICM : le P300-SpellerObjectif : aide à la communication H P300 Speller H P8 Acquisition & Traitement des signaux H G G G G G G G G G G G G G H H H H H H H H H H H H H I I I I I I I I I I I I I J J J J J J J J J J J J J K K K K K K K K K K K K K L L L L L L L L L L L L L P300 Cible P8 Acquisition & Traitement des signaux Non cible N1 Répétition 1 = 12 flashs Répétition 2 Répétition 3 Feedback … • 2 phases : • Phase d’étalonnage (quelques minutes) • Phase de test P300 Speller P300 Speller H H G G L L I I K K M N O P Q R O M O O O O O O O O O O O O O N M M M M M M M M M M M M M P N N N N N N N N N N N N N P P P P P P P P P P P P P Q Q Q Q Q Q Q Q Q Q Q Q Q Q R R R R R R R R R R R R R R J J A B C D E F C C C C C C C C C C C C C C B B B B B B B B B B B B D B D D D D D D D D D D D D E E E E E E E E E E E E E F F F F F F F F F F F F F F A A A A A A A A A A A A A B A E D D V U S W T T U U U U U U U U U U U U U V V V V V V V V V V V V V W W W W W W W W W W W W W S S S S S S S S S S S S S X X X X X X X X X X X X X X T T T T T T T T T T T T S T U V W X V 4 2 3 1 J P 2 Y Z 1 2 8 3 4 4 4 4 4 4 4 4 4 4 4 4 4 4 3 3 3 3 3 3 3 3 3 3 3 3 3 2 2 2 2 2 2 2 2 2 2 2 2 2 Z 1 1 1 1 1 1 1 1 1 1 1 1 1 Y Y Y Y Y Y Y Y Y Y Y Y Y Y Z 6 Z Z Z Z Z Z Z Z Z Z Z Z _ _ _ _ _ _ _ _ _ _ _ _ _ _ 5 5 5 5 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 6 6 6 7 7 7 7 7 7 7 7 7 7 7 7 7 8 8 8 8 8 8 8 8 8 8 8 8 8 9 9 9 9 9 9 9 9 9 9 9 9 9 5 9 6 7 8 5 6 7 8 9 _ A B C E F 5 6 7 9 _ Y Z 1 3 4 S T U W X M N O Q R G H I K L

4. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Intérêt de cette application • Restauration de la communication • Population concernée : • Syndrome d’enfermement (Locked-in) • Sclérose latérale amyotrophique • Syndrome de Guillain-Barré • … • Évaluation chez une patiente (coll. Jacques Luauté) : • Femme de 38 ans victime d’un AVC du tronc basilaire en 2009 • État Locked-in (sauf mouvement des yeux) • Enregistrée à l’hôpital Henri Gabrielle entre mars et décembre 2010 • Performance maximale : 0,6 lettres correctes par minute1 • Performance maximale chez les sujets sains : 4.8 lettres correctes par minute2 •  Nécessité d’améliorer le protocole Image du film Le Scaphandre et le papillon tiré du livre de J.D. Bauby atteint du syndrome d’enfermement 1 Maby, Perrin et al., 2011, Proceedings of the 5th international BCI conference 2 Maby, Perrin et al, In preparation

5. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Coadaptation cerveau-machine 010111001 • Apprentissage continu des marqueurs (Daucé et al, In prep.) Perception • Modulée par : • Apprentissage • Motivation • Vigilance Action Action Perception • Apprentissage • Durée de la phase d’étalonnage adaptative • (Rivet et al, 2011, J. of Physiology)

6. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Coadaptation cerveau-machine 010111001 Perception Action Peut-on améliorer l’interaction en optimisant le temps de réaction de la machine ? Peut-on améliorer l’interaction en exploitant un signal de satisfaction ? Signal de satisfaction Action Perception Décision adaptative

7. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Méthodes • Tâche : P300-Speller • Électrophysiologie : EEG • Environnement logiciel : • En ligne : Open-ViBE [1] • Hors ligne : Matlab, Elan [2] • Traitements de données : • Sélection de caractéristiques : Filtre temporel, fréquentiel et spatial (xDAWN[3]) • Classifieur : mixture de gaussiennes • Évaluation : • Performance : taux de lettres correctes • Bit rate : taux d’information transmise par unité de temps • Sensibilité, spécificité : mesures de l’efficacité d’un classifieur • Questionnaires • Analyses statistiques : R, SPM [4] Non cible Cible • [1] Renard et al,2010, Presence: Teleoperators and Virtual • [2] Aguera et al,2010, , Comput. Intell. Neurosci. • [3] Rivet et al, 2009, IEEE TBME • [4] Litvak et al, 2011, Comput. Intell. Neurosci.

8. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience 1 Étude hors ligne des réponses aux feedbacks

9. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Objectifs • Signal de réponse au feedback ? • Modulation par apprentissage ? • Modulation par attention ? • Détection ? Peut-on améliorer l’interaction en exploitant un signal de satisfaction ? Feedback • Correction ?

10. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les signaux de réponse au feedback Holroyd et al., 2007, Psychophysiology Réponse correcte Difficile Erreurs fréquentes  attendues Facile Erreurs rares  inattendues Stimulus auditif Différence entre feedbacks négatifs et positifs 1 sec Clic avec une souris Réponses au feedback Attendu (erreur difficile – correct facile) Inattendu ( erreur facile – correct difficile) FRN Amplitude (µV) Correct Erreur Amplitude (µV)  Signaux modulés par la prédictibilité  apprentissage P3 FCz Temps (ms) Temps (ms) • Cohen and Ranganath,2007, J. Neuroscience • Friston, 2005, Philos Trans R Soc Lond B BiolSci  Signaux modulés par la valence du feedback

11. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Leur utilisation dans les ICM • Appelées ErrP • Des études sur le sujet depuis une dizaine d’années • Beaucoup d’études hors ligne • Avant 2012 : études avec maximum 6 sujets Détection de l’ErrP Spüler et al., 2012, ClinicalNeurophysiology • Stratégies de correction (Rousseau, 2012) : • Annulation de la commande • Remplacement par le second choix du classifieur • Itération de la commande

12. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Protocole expérimental • EEG (32 électrodes) • 19 sujets sains • Paramètres : • 3 Répétitions • Flashs toutes les 190 ms • Étalonnage : 25 lettres • 3 sessions de 24 mots de 5 lettres (360 lettres) P300 Speller utilisant le logiciel OpenViBE En moyenne : 80% de lettres correctes attendues • Feedbacks complètement contrôlés : • 20% de feedbacks négatifs • 80% de feedbacks positifs • Maby, Perrin et al. HBM Conf. 2010 ; • Maby, Perrin et al., in prep.

13. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion En pratique PXMME POMME O F E P M Expérimentateur • Enregistrement des réponses « réelles » •  Une réponse réelle correcte correspond à un niveau attentionnel élevé Vue du sujet • feedback positif attendu feedback positif inattendu • feedback négatif attendu feedback négatif inattendu Feedbacks envoyés P O M F A G P A E K O B L A M A I 6 P O M F E G A D E K O B L A M A I 6 8 P

14. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les réponses au feedback sont-elles présentes dans le contexte des ICM ? Holroyd et al., 2007, Psychophysiology • Sélection de fenêtres temporelles (SPM) • 250-310 ms  FRN • 380-750 ms  fenêtre 380-460 ms pour P3 • Analyse de variance sur données essai par essai (R) • Étude électrophysiologique classique • Prétraitements • Filtrage 0.1-20 Hz • Correction des artefacts oculaires avec une ICA • Rejet manuel d’artefacts Condition facile 23% d’erreurs Correct Erreur FRN FRN *** * P3 Amplitude (µV) P3 Feedback négatif Feedback positif Temps (ms) Temps (ms)

15. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les réponses au feedback Reflètent-elles l’apprentissage ? Sont-elles modulées par l’attention ? Feedbacks envoyés Feedbacks envoyés Feedbacks négatifs – feedbacks positifs Performancesréelles Holroyd et al., 2007 ** ** ** * * Erreurs réelles Corrects réels Erreurs réelles Corrects réels Feedbacks attendus Feedbacks inattendus Temps (ms) Est-ce que la machine était performante ? 8/10 Temps (ms) • Réponses plus amples pour les feedbacks inattendus •  Reflet de l’apprentissage des règles d’apparition des erreurs  FRN réduite pour les erreurs réelles  Reflet de l’attention

16. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Peut-on détecter les réponses au feedback ? FRN • Fenêtre temporelle : 200-600 ms • Étalonnage : de 25 à 250 lettres • Test sur les 110 lettres P3 Données de test Données d’étalonnage 0 50 100 150 200 250 360 FB neg. bien détectés • Sensibilité = • Spécificité = • Nombre total de FB neg. FB pos. bien détectés Temps (ms) • Nombre total de FB pos. • Spécificité très élevée • Sensibilité augmente avec le nombre de lettres utilisées pour l’étalonnage Sensibilité Spécificité Nombre de lettres d’étalonnage

17. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Peut-on corriger les erreurs ? SC: Pertinence du second choix (lorsque le 1èr choix est faux) = 53% R = 0,50 P < 0.05 Gain théorique lié à la correction : ~3%

18. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Conclusion expérience 1 • Perrin et al., 2011, 5th int. BCI conf. Graz • Perrin et al., in preparation Réponse au feedback modulée par apprentissage et attention Détection Peut-on améliorer l’interaction en exploitant un signal d’erreur ? Correction

19. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience 2 Évaluation en temps-réel de la correction automatique

20. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Objectifs • Détection ? Peut-on améliorer l’interaction en exploitant un signal d’erreur ? • Satisfaction ? • Correction ? • Localiser les sources corticales des réponses aux feedbacks • Évaluer l’efficacité d’un nouveau mode de stimulation par groupes pseudo-aléatoires de lettres

21. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Protocole expérimental • EEG (56 électrodes) /MEG (275 capteurs) • 16 sujets sains • Feedbacks réels • Conditions difficiles pour avoir des erreurs : • 2 répétitions par lettre • Flashs toutes les 110 ms Questionnaire Étalonnage réponse aux cibles 36 lettres sans feedfack Test du P300-Speller 340 lettres avec feedback Étalonnage réponse aux feedback 240 lettres Test de la correction 100 lettres

22. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Détection des réponses aux feedbacks Correction des erreurs Explication : • Erreurs moins surprenantes • Pertinence du 2nd choix moins bonne • FRN moins ample •  ↘ Rapport signal sur bruit • Moins bonne discrimination des signaux • Second choix moins pertinent • Sur 16 participants : • 50% améliorent leur performance (jusqu’à +12%), et 37.5% la détériorent (jusqu’à -19%) • 44% préfèrent le mode avec correction

23. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Résultat inattendu : 2 groupes de participants Spec = 0,95 Différences entre les deux groupes (p<0.05) : Spec = 0,68 Gain <0 Gain >0 Gain = 0 Préférence : Sans correction Avec correction

24. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Différences électrophysiologiques Différence feedbacks incorrects – corrects Différence flashs cibles – non cibles * ** Spec. >85% Spec. <75%  Potentiel plus précoce pour le groupe avec spécificité >85%  Potentiel plus ample pour le groupe avec spécificité >85% • N1 importante pour la classification des cibles • Différence attentionnelle entre les deux groupes

25. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Conclusion expérience 2 • Détection ? Peut-on améliorer l’interaction en exploitant un signal d’erreur ? • Préférence variable Bit rate meilleur qu’avec une stratégie de réécriture • Correction

26. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Conclusion expérience 2 Perrin et al., 2012, Advances in human computer interaction Niveau attentionnel / motivationnel Qualité des réponses aux flashs Qualité des réponses aux feedbacks Électrophysiologie Prédictibilité du feedback Qualité de la classification des cibles Qualité de la classification des ErrP Classification Mesures objectives Performance Second choix Efficacité de la correction Mesures subjectives Perception de l’efficacité de la machine Préférence

27. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience 3 Optimisation du temps de réaction de la machine

28. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Objectifs • Qualité du signal Peut-on améliorer l’interaction en optimisant le temps de réaction de la machine ? • Temps de réaction optimal • Effet sur le sujet ? 3 étapes : • Modification de la méthode • Évaluation de la méthode hors ligne • Évaluation de la méthode en ligne et de l’effet sur le sujet

29. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Nouveau classifieur NON Mise à jour après chaque nouvelle observation/flash A priori : p(x) Suffisamment d’information ? p(x|φ) Données: φ .p(x) p(x|φ) α p(φ|x) OUI Sélection de marqueurs Classification Décision Moyennage à travers les répétitions Feedback

30. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Critère sur l’information • Calcul de l’entropie de Shannon de la distribution de probabilité après chaque nouvelle observation • Quand la connaissance augmente, l’entropie diminue • Lorsque l’entropie passe en dessous d’un certain seuil, la stimulation s’arrête et la décision est prise Évaluation hors ligne • Comparaisons de 2 approches sur des données réelles d’une précédente expérience : • Approche fixe : nombre fixe de flashs (critère temporel) • Approche adaptative : nombre de flash optimal (critère sur l’information)

31. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Résultats hors ligne Résultats hors ligne avec nos données (20 sujets x 60 lettres) Résultat en temps-réel de Lenhardt et al. 2008 Adaptatif Écart-type Fixe Écart-type Adaptatif Écart-type Fixe Écart-type Mode fixe : 30 bits/minute 9 sujets 9 lettres Mode adaptatif : 50 bits/minute 12 sujets 22 lettres % lettres correctes • Bit rate maximal équivalent avec mode adaptatif • Bit rate en mode fixe meilleur sur nos données • Gain inférieur sur nos données (+10 bits/min vs. +20 bits/min) •  Différence en ligne vs. hors ligne ? Effet de la motivation ?

32. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Expérience en temps-réel • Protocole expérimental • EEG - 9 électrodes • 11 sujets sains • 3 conditions (100 lettres/cond.) • Questionnaire • Choix du seuil de décision : • Utilisation des données d’étalonnage pour estimer un seuil qui correspond environ à 24 et 60 flashs en moyenne Comparaison en ligne  Effet global • Comparaisons hors ligne • Effet de la motivation • Effet de la méthode

33. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Résultats Performance en temps-réel Performance hors-ligne Données réanalysées avec une décision fixesur les 2 premières répétitions ** *** 60 flashs = 5 répétitions ≈ + Effet global : +10% Effet méthode : +4% Effet motivation : +6% • L’approche adaptative est plus efficace et augmente la motivation •  Performances encore meilleures

34. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Préférences des sujets • Plus motivant • Plus stimulant • Plus fiable • Plus prédictible • Plus précis • Moins de concentration nécessaire Conclusion Perrin et al., In preparation • Modes adaptatifs plus efficaces que mode fixe • Modes adaptatifs plus agréables d’utilisation • Effet vertueux des modes adaptatifs qui favorisent la motivation et améliorent ainsi les performances  Coadaptation cerveau-machine

35. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Discussion

36. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Synthèse Coté machine Coté cerveau • Signaux d’erreur (exp1) • Reflet de l’apprentissage (exp1 et 2) • Modulation par l’attention (exp1 et 2) • Correction peu efficace mais très sujet-dépendante (exp1 et 2) • Décision adaptative très efficace (exp3) Perception Action 010111001 Interaction • exp3 • ICM adaptative • Motivation ↗ • Performance ↗ • exp1 et 2 Attention ↗ • Performance ↗ • Correction ↗ Action Perception • Remarques importantes : • Effets observés en temps-réel ≠ Effets observés hors ligne  Utilisateur adaptatif • Préférences différentes d’un sujet à l’autre  Importance d’une adaptation individualisée 36

37. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Perspectives Coté machine Coté cerveau • Correction : biais2, a priori3, thêta4… • Machine adaptative : optimisation compromis performance/temps, écriture prédictive • Ergonomie : nouveaux casques… • Étude des sources corticales •  Augmenter connaissance • Autres marqueurs (ssvep1) 010111001 Perception Action Interaction • Décision adaptative • Motivation ↗ • Correction ↗ ? Action Perception • [1] Edlinger et al,2011, 6th intConf on Universalaccess in human-computer interaction. • [2] Spüler et al., 2012, ClinicalNeurophysiology • [3] Ahi et al, 2011, IEEE Trans Neural SystRehabil Eng • [4] Rousseau et al., 2012, Thèse

38. P300 Speller MERCI_A_TOUS G H I J K L O M N Q R P E F D C B A S W U V T X _ 7 9 Y 6 5 8 Z 4 1 2 3

40. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Essai patiente Répartition des erreurs Oddball actif Healthy subjects Cible Non cible Patient Accuracy : 22.6 % Poor performer Accuracy : 43.8 % Good performer Accuracy : 99.4 % Maby, Perrin et al, 5th International BCI Conference 2011

41. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Perspective clinique Intendix (Guger Technologies) Copie dans un mail Espace Impression Supprimer tout Alarme Sauvegarde Sortie vocale Origine de la différence entre sujets sains et locked-in syndrome ? Laureys et al. Lancet Neurol 2004

42. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Guenther, PLoS ONE 2009 (groupe Kennedy, Atlanta USA) • Patient « Locked-in » • Décodage et synthèse du langage • en temps-réel (délai ~50 ms) • Après un court apprentissage, • les performances de production • de voyelles sont de 70%

43. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Les signaux de réponses au feedback Holroyd et al., 2007, Psychophysiology Yeung et al., 2005, Cerebral Cortex Choix FRN  Signaux modulés par la valence du feedback FRN Correct facile Erreur difficile Correct difficile Erreur facile Correct Erreur Perte Gain Cz P300 P300 FCz Temps (ms) Temps (ms) Attendu (erreur difficile – correct facile) Inattendu ( erreur facile – correct difficile) Pas de réponse Amplitude (µV) Amplitude (µV) Perte Gain Cz FCz Temps (ms) Temps (ms) Temps (ms)  Réponse motrice pas indispensable  Signaux modulés par l’erreur de prédiction  apprentissage

44. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Réponse au feedback Effet Perf sur session 3 -1000 0 1000 2000 3000 4000 5000 ms Feedback négatif Feedback positif Erreurs réelles Corrects réels -1000 0 1000 2000 3000 4000 5000 ms

45. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Modulations des réponses au feedback Feedbacks envoyés Feedbacks envoyés Performancesréelles ** * * ** * Erreurs réelles Corrects réels Feedbacks attendus Feedbacks inattendus Temps (ms) Temps (ms)

46. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Correction • Pc = 1-P * Sens. * SC + P * Spec. Sensibilité Spécificité P Pc Nombre de lettres d’étalonnage

47. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Évolution de la classification Au début de la calibration Au milieu de la calibration A la fin de la calibration Sensibilité Spécificité Erreurs Corrects Erreurs Corrects Erreurs Corrects Nombre de lettres d’étalonnage

48. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Choix des paramètres de détection des feedbacks négatifs Choix de la fenêtre temporel Choix du nombre de filtres spatiaux

49. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Correction automatique Feedbacks corrects Feedbacks incorrects Feedbacks corrects Feedbacks incorrects Spec. > 85% Spec. < 75% Réponses aux feedbacks

50. Introduction Expérience 1 Expérience 2 Expérience 3 Discussion Différences inter-individuelles -3% -2% Spec = 0,95 Spec = 0,68 +1% Gain <0 Gain >0 Gain = 0 Gain <0 Gain >0 Gain = 0 Préférence : Sans correction Avec correction