Contours actifs appliqués à la stéréo

1. Contours actifs appliqués à la stéréo Réalisé par: CHARMI Mohamed Ali Encadré par: Dr. Stéphane DERRODE

2. Segmentation • Traitement indispensable pour toute application de traitement d’images. • Distinguer les différents objets d’une scène et les limiter dans l’espace. • Deux approches: • Approche région • Approche contours

3. Modèles déformables • Techniques basées modèle: utilisent des courbes pour décrire les formes dans les images. • distingue deux types de modèles selon leur représentation: • Modèles géométriques: Courbes géodésiques ou Level Sets introduits par [Osher & Sethian 88]. • Modèles paramétriques: Contours actifs introduits par [Kass & Al 87].

4. Plan • Présentation des Contours actifs • Critiques • Les améliorations • Résultats • Conclusion et perspectives

5. Plan • Présentation des Contours actifs • Présentation générale • Applications • Modèle mathématique • Fonction d’énergie • Résolution • Critiques • Les améliorations • Résultats • Conclusion et perspectives

6. Présentation des Contours actifs • Introduits par [Kass & Al 87]. • Principe: Minimisation de la fonction d’énergie d’une courbe qu’on déplace d’une manière itérative.

7. Applications Imagerie médicale(2) Motion tracking(1) Imagerie aérienne(3) Stereo matching • http://vision.ai.uiuc.edu/~ningxu/projects.html • http://vision.ai.uiuc.edu/~ningxu/projects.html • http://www-sop.inria.fr/ariana/personnel/Marie.Rochery/FRANCAIS/researchinterest.html

8. Modèle mathématique • Représentation paramétrique: (2) • s: abscisse curviligne • t: temps. • 0 et 1 sont les extrémités de la courbe.

9. Fonction d’énergie • L’énergie du snake s’écrit: (2) • Avec: • Eint : Energie interne à la courbe. • Eimage: forces de l’image. • Econtraintes: impose des contraintes supplémentaires sur le contour.

10. Energie interne (3) • Le premier terme dit d’élasticité assure la continuité de la courbe. • Le deuxième terme est le terme de rigidité, il évite l’apparition des angles aigus dans le contours. •  et  sont deux coefficients de régularisation.

11. Energie de l’image (4) • Eline: attire le snake vers les lignes noires ou blanches selon le signe de wline (5) • Eedge: attire le snake vers les contours (6) • Eterm: utilise la courbure pour déterminer les extrémités des lignes et les coins.

12. Energie de contraintes • C'est une énergie pour des interactionsde haut niveau. • Elle dépend de contraintes d'ordre supérieur relatives à des stratégies globales: • Relations avec les autres objets d'une image. • La répulsion ou l'attraction d'une région particulière

13. Equation d’Euler • Pour minimiser (2) • On doit résoudre l’équation d’Euler suivante: (7) • Résolution numérique par les différences finies: (8)

14. Equation d’Euler • 2 systèmes linéaires à résoudre: (9) • Résolution itérative (10) • pentadiagonale  inversible par la méthode LU en O(n).

15. Plan • Présentation des Contours actifs • Critiques • Problème de l’initialisation • Evolution dans les régions concave • Stabilité numérique • Les améliorations • Résultats • Conclusion et perspectives

16. Problème d’initialisation • Si l’initialisation n’est pas assez proche des contours, le snake ne converge pas. • Le snake n’est pas soumis aux forces de l’image. • Se rétrécit sous l’action des forces internes • N’évolue pas en absence de forces  = 0,  = 0  = 0.02,  = 0.01

17. Evolution dans les concavités • Les snakes n’évoluent pas dans les zones concaves. • Absence de force qui attire la courbe vers les à l’entrée de la zone concave.

18. Stabilité numérique • Problème de convergence dû à la discrétisation • Si le pas temporel est élevé, la courbe saute les contours recherchés. pas = 5 pixels pas = 0.33 pixel pas = 1 pixel

19. Plan • Présentation des Contours actifs • Critiques • Les améliorations • Programmation dynamique [Amini 88] • Algorithme rapide[Williams & Shah 88] • Balloon Snakes [Cohen 91] • GVF [Xu & Prince] • Distance snakes [Cohen & Cohen 93] • Résultats • Conclusion et perspectives

20. Programmation dynamique[Amini 88] • Utilise la programmation dynamique pour minimiser l’énergie. • Algorithme de complexité O(n.m3) et utilisant un espace de mémoire pour sauvegarder ses résultats. • Nouvelles contraintes: • Filtre de Canny-Deriche • Contrainte sur la distance entre deux points voisins.

21. Algorithme rapide [Williams & Shah 90] • Algorithme Glouton de complexité O(nm). • Nouvelle distance: di - |vi – vi-1| • Normalisation du gradient:

22. Balloon Model [Cohen 91] • Ajoute une force de pression. • Normalise la force du gradient. (11) • k1 et k sont deux paramètres de régularisation • est une normale unitaire à la courbe

23. GVF Snakes [Xu & Prince 96] • Remplace Eext par le GVF: • Système d’Euler (12) (13) (14)

24. GVF Snakes [Xu & Prince 96] • Résolution: (15) http://iacl.ece.jhu.edu/projects/gvf/

25. Finite Elements Method (FEM)[Cohen & Cohen 93] Détection du contours Reconstruction par Interpolation • Approche classique: Optimisation dans le domaine de l’image • Approche snakes: Détection du contours Optimisation dans le domaine de l’image • Cohen & Cohen:

26. Finite Elements Method (FEM)[Cohen & Cohen 93] • Utilisation d’un détecteur de contour comme Canny-Deriche. • Utilisation d’une force de pression • Remplacer la méthode de résolution par les différences finies par la FEM • Détection d’organes dans des images médicales en 3D.

27. Plan • Présentation des Contours actifs • Critiques • Les améliorations • Résultats • Contours actifs classiques • Balloon snakes • GVF • Conclusion et perspectives

28. Snakes classiques 80 pts,  = 0.01,  = 0.001 400 itérations

29. Snakes classiques 40 pts,  = 0.01,  = 0.001  = 0,  = 0  = 0.02,  = 0.01

30. Balloon snakes 80 points,  = 0.02,  = 0.001, K = 2, K1 = -0.15 80 points,  = 0.02,  = 0.001, K = 2, K1 = 0.15 80 points,  = 0.02,  = 0.001

31. Balloon snakes 80 points,  = 0.01,  = 0.001, K1 = +/- 0.15

32. Balloon snakes  = 0.002  = 0.0

33. Balloon snakes

34. GVF 120 points,  = 0.04,  = 0.001, mu = 0. 2

35. GVF

36. Conclusion & Perspectives • Implémentation de différents modèles de Contours actifs. • Tester et voir les résultats des différents algorithmes. • Illustrer les différents problèmes du snakes. • Plateforme de comparaison.

37. Conclusion & Perspectives • Ajouter une fonction d’énergie à partir d’une paire d’images stéréo. • Deux images du même objet mais avec une transformation euclidienne ou affine. • Utiliser des descripteurs invariants.