1 / 21

Segmentation de séquences d’images au sens du mouvement

Segmentation de séquences d’images au sens du mouvement. Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla. Introduction. illusion de mouvement créée par la succession d’images à une cadence élevée mouvement = information importante en traitement d’images

tino
Download Presentation

Segmentation de séquences d’images au sens du mouvement

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Segmentation de séquences d’images au sens du mouvement Stage DEA Image & Calculs Elodie Bichot Juillet 2002 Encadrant : L. Mascarilla

  2. Introduction • illusion de mouvement créée par la succession d’images à une cadence élevée • mouvement = information importante en traitement d’images segmentation de séquences d’images au sens du mouvement

  3. Plan • Définition de la segmentation au sens du mouvement • Les méthodes de segmentation au sens du mouvement • Le flot optique • Les méthodes d’estimation du flot optique • Le partitionnement du flot optique • Mise en œuvre • L’appariement par fenêtres • L’algorithme de segmentation au sens du mouvement mis en œuvre

  4. Contexte : Projet Aqu@thèque • étape de segmentation : détecter la région correspondant au poisson sélectionné • images couleurs réelles présentant des effets spéculaires, des changements de luminosité • méthodes de segmentation par le mouvement • impossible de distinguer deux poissons évoluant en sens opposé au moment où ils se croisent  segmentation au sens du mouvement

  5. Segmentation au sens du mouvement Partitionnement de l’image en régions uniformes au sens du mouvement : • estimation du mouvement 2D (flot optique) • classification des pixels selon leur mouvement Estimation du segmentation mouvement Images segmentées en Séquence d’images Flot optique régions uniformes au sens du mouvement ............................................. ............................................. ............................................. ............................................. .............. ............................................. .................... ......................... ............................................. ............................................. ............................................. ............................................. ............................... ............................................. ............................... ...............................

  6. Le flot optique • champ de vecteurs de déplacements produit par la projection du mouvement 3D des objets et/ou par le mouvement de la caméra • estimation du flot optique illumination constante : équation du flot optique composantes de la vitesse gradient spatial de I gradient temporel de I

  7. Le flot optique équation du flot optique • fossé entre mouvement estimé par équation du flot optique et mouvement réel • détermination du mouvement problème mal posé : problème d’ouverture : seule b, composante du mouvement normale au bord, peut être estimée [2]

  8. Domaines d’utilisation du flot optique • compression vidéo par compensation de mouvement • segmentation : météorologie reconnaissance de signes du langage des signes surveillance de sites routiers Le flot optique pour segmenter des véhicules en mouvement [1]

  9. Méthodes d’estimation du flot optique • Techniques différentielles • Méthodes fréquentielles • Appariement par fenêtres

  10. Les méthodes différentielles • fondées sur hypothèse d’intensité constante  Problème d’ouverture • ajout de contrainte de lissage du flot optique : flot optique constant sur un voisinage local de meilleure solution : la plus régulière [HS81] [LK81]

  11. Positionnement des techniques différentielles • coût de calculs faible • précise • estimation de déplacements de faible amplitude • mauvaise estimation du flot optique aux frontières des objets = zones de discontinuités du mouvement

  12. pixel (i, j) de l’image considéré fenêtre de référence position translatée de la zone de recherche ou de corrélation fenêtre de référence L’appariement par fenêtres • recherche de la meilleure correspondance entre des régions de deux images consécutives par : • maximisation d’un critère de similarité • minimisation d’une distance entre deux fenêtres de référence sur une zone de recherche

  13. Positionnement de l’appariement par fenêtres • simple • possibilité d’estimer des déplacements d’amplitude importante • problème en cas d’images bruitées, en présence d’occultations, en cas de zones uniformes • coûteuse en temps de calculs • imprécise

  14. Segmentation du flot optique • qualité liée à la qualité de l’estimation du mouvement • par estimation d’un mouvement dominant - évaluation du mouvement dominant - « extraction » de l’objet animé du mouvement dominant problème : lorsqu’il n’y a pas qu’un seul mouvement dominant

  15. flot optique image segmentée affectation des régions à l’hypothèse la plus proche génération d’hypothèses de mouvement classification Segmentation du flot optique • par classification sur les paramètres d’un modèle de mouvement affine [WA94] : mouvement affine : • facile à implémenter • décrit les mouvements rencontrés dans les vidéos • objets en translation : groupement des pixels de même vitesse

  16. Estimation du flot optique par appariement par fenêtres • simple • à l’origine des meilleurs résultats • pas fondé sur hypothèse d’illumination constante • intégration assez facile de l’information de couleur difficile d’apprécier la justesse du flot optique estimé image initiale, flot optique évalué par appariement et par la méthode de Lucas & Kanade

  17. Estimation du flot optique Représentation des normes des vecteurs vitesses et du flot optique évalués par appariement à partir d’images en niveaux de gris à gauche, à partir d’images en couleurs à droite

  18. Estimation Estimation des Classification par C Représentation du flot paramètres d’un moyennes floues sur des classes dans modèle de mouvement les paramètres de l’espace de optique affine sur des régions mouvement l’image carrées [WA94] Algorithme de segmentation au sens du mouvement • flot optique évalué par appariement • segmentation par classification sur les paramètres d’un modèle de mouvement affine • nombre de classes fixé arbitrairement image initiale image segmentée

  19. Algorithme de segmentation au sens du mouvement • flot optique évalué par appariement • segmentation par classification sur les composantes de la vitesse • nombre de classes fixé arbitrairement image initiale segmentation par classification sur les composantes de la vitesse

  20. Conclusion • estimation du flot optique + partitionnement du flot optique = segmentation au sens du mouvement • appariement par fenêtres + classification sur les composantes du déplacement = segmentation au sens du mouvement • distinction de poissons évoluant en sens opposé • coopération entre la segmentation au sens du mouvement et la poursuite de cibles

  21. Références • [HS81] B.K.P. Horn, B.G. Schunck. Determining optical flow. Artificial Intelligence 17 : 185-204, 1981. • [LK81] B. Lucas, T. Kanade. An iterative image registration technique with an application to stereo vision. Proc. DARPA Image Understanding Workshop, pp.121-130, 1981. • [WA94] J.Y.A. Wang, E.H. Adelson, Spatio-Temporal Segmentation of Video Data. Proceedings of the SPIE : Image and Video Processing 2, vol. 2182, San Jose, 1994. • [WA94] J.Y.A. Wang, E.H. Adelson. Representing Moving Images with Layers. IEEE Transactions on Image Processing Special Issue : Image Sequence Compression, vol3, n°5, p. 625-638, 1994. • [1] http://www.cmap.polytechnique.fr/~bernard/FlotOptique/page3.html • [2] http://www.dai.ed.ac.uk/CVonline/LOCAL_COPIES/OWENS/LECT12/node4.html

More Related