Virtual arm for the Phantom Limb Pain Therapy

1. Virtual arm for the Phantom Limb Pain Therapy Eynard L. and Meyer A. and Bouakaz S. June 2005

2. Presentation summary • Introduction and Previous Works • Real-Time Posture Rendering • The miror effect : Virtual arm • Results • Conclusion

3. Plan • Introduction and Previous Works • The Phantom Pain • New Therapies • Following the Movements • Real-Time Posture Rendering • Miror Effect : Virtual arm • Results • Conclusion

4. The Phantom Pain A phantom pain appears where an amputed limb used to be Why? • Physical Amputation ≠ Psychic amputation • MIsmatching between brain and reality → Pain Characteristics • Strong pain, sometimes debilitating • Hard to treat Existing therapies • Medicamentous , massage, relaxation, psychotherapies • Hopefull new therapies …

5. News methods for therapy ISC Lyon [Sirugu03] [Ramachadran96]

6. Our idea • Following the ISC Lyon idea • filmed person • Moving analysis • Miror  screen • Augmented picture of missing limb • Means: • Move Tracking (vision) • Augmented reality : virtual limb

7. Suivi de mouvement (vision) • Multi-cameras • Voxelic reconstruction [Mikic03,…] • 3D-model : recognition of the skeleton a 3d-grid • Monocular (1 camera) • Optical flow • Bayesian methods [Agarwal04,…] • Real-Time [Stenger03,…] • Contraigned moves • Constraigned resolution

8. Pour notre système • Ours constraints • Temps réel (intéractif) • Monoculaire (système portable) • Contraintes techniques  Contraintes dans le mouvement

9. Plan • Introduction et travaux précédents • Reconstruction temps réel de la posture • Apprentissage du fond • Mesures anthropométriques • Suivi des mouvements • Effet miroir : ajout du bras virtuel • Résultats • Conclusion

10. Soustraction de fond • Algorithme basé sur un apprentissage • Changement de repère de couleur HSV [Park03] • N images → extremums canaux RVB pour chaque pixels • Recherche de connexité → élimine les bruits

11. Plan • Introduction et travaux précédents • Reconstruction temps réel de la posture • Apprentissage du fond • Mesures anthropométriques • Suivi des mouvements • Effet miroir : ajout du bras virtuel • Résultats • Conclusion

12. Mesure anthropométriques • Calculer les grandeurs anthropométriques  acquisition des mouvements A partir de 2 poses Extraction de silhouette

13. Mesure de la tête et du torse • Pose 1 : mesure de la tête • Point le plus haut dans l'image

14. Mesure de la tête et du torse • Pose 1 : mesure de la tête • Point le plus haut dans l'image • Descente tant que Nbi(pixelblanc)> Nbi-1(pixelblanc)

15. Mesure de la tête et du torse • Pose 1 : mesure de la tête • Point le plus haut dans l'image • Descente tant que Nbi(pixelblanc) > Nbi-1(pixelblanc) → largeur • Descente jusqu'à Nb(pixelblanc) < seuil* largeur → ligne épaule

16. Mesure de la tête et du buste • Mesure du buste : • Ligne de centre de gravité → largeur du buste • Descente jusqu'à séparation → ligne de fin de buste → hauteur du buste largeur hauteur

17. Mesure des bras • Pose 1: • Degré et côté de l’amputation • longueur de chaque bras • points les plus à droite et à gauche

18. Mesure des bras (2) • Pose 2

19. Plan • Introduction et travaux précédents • Reconstruction temps réel de la posture • Apprentissage du fond • Mesures anthropométriques • Suivi des mouvements • Effet miroir : ajout du bras virtuel • Résultats • Conclusion

20. Contraintes imposées • Restrictions des mouvements • Mouvements parallèles au plan de la caméra (« fronto-paralléle ») • Angle du coude identique pour un meilleur effet visuelle • Suivi des déplacements latéraux de la silhouette

21. Détection de la tête et du tronc • Tête et Tronc • Algorithme de recherche de connexité contraint par les données anthropométriques

22. Recherche des articulations • Recherche de l’épaule, coude et main • Mesures anthropométriques → estimation des positions

23. Création du membre manquant • Si amputation avant le coude • Repère équivalent du cote amputé et valide • Reprojection des pixels coté valide → côté amputé

24. Création du bras virtuel • Si amputation après le coude • Repère équivalent du cote amputé et valide • Reprojection des pixels coté valide → côté amputé

25. Résultats • Travail sur des images 640*480 • Utilisation d’une webcam • Image traitée entre 160 et 180 ms • Calcul silhouette : 50 à 60 ms • Analyse du mouvement : 50 à 60 ms • Effet miroir : instantané • Filtre Gaussien : 10ms • Moyenne de 8 à 10 images par seconde

26. Résultats • VIDEO

27. Conclusion et perspectives • Premier dispositif • Reconstruction de mouvement • Robuste sur des mouvements simples • Création du bras virtuel • Expérimentation prévu • Collaboration avec l’Institut des sciences cognitives • Perspectives • Modèle 3D réaliste • Réactions des amputés • Publications • accepté à l ’IEEE ACIDCA-ICMI’05 • Soumis à la conférence francophone RFIA 2005

28. Merci pour votre attention …

29. Ajout du membre → réalité augmentée (RA) • Problème générique en RA • Cohérence entre réel et virtuel • Texture, aspect • Élément de synthèse construit à partir d’image réelle (cf notre système) • Illumination, Ombre

30. Creation du membre manquant • amputation humérale • centre de gravité du moignon • obtention d'un axe grâce a al même méthode que pour le bras valide • amputation cubitale • Même méthode que pour le bras valide • Obtention de l'axe du moignon grâce au centre de gravité de la partie après le coude