3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement

1. 3.2.Caractérisation du mouvement et méthodes par comparaison du mouvement • 1. Représentation du mouvement dans le plan - image • 2. Modèles du mouvement • 3. Méthodes d’estimation • Méthodes directes • Méthodes paramétriques • Estimation robuste • Estimation par bloc • 4. Méthodes de la segmentation basées mouvement • Méthodes par comparaison du mouvement • Méthodes par des mesures de similarité après la compensation • Approches par projections

2. 3.2.1.Représentation du mouvement dans le plan - image • Une séquence vidéo est une image 2D du monde 3D en mouvement • On ne perçoit le mouvement que grâce au changement de la luminance / couleur Mouvement Apparent

3. Z Y X Y Z X Mouvement réel 2D vs mouvement apparent Mouvement réel 2Dest la projection dumouvement 3Dpar le système optique de la caméra à t à t+1 Mouvement apparent _ “flot optique”est observé dans le plan image 2D grâce au changements de la luminance

4. Mouvement réel 2D vs mouvement apparent (2) Mouvement apparent est dans le cas général différent du mouvement réel 2D a)Insuffisance du gradient spatial MR - oui MA - non b)Changements d’illumination extérieure MR - non MA - oui Néanmoins! Hypothèse: Mouvement Apparent=Mouvement reel 2D

5. P’ P t t+1 Caractérisation locale du mouvement Vecteur de déplacement élémentaire vecteur vitesse Premier niveau de caractérisation du mouvement consiste à calculer le flot optique ou “champ de déplacement”

6. 3.2.2. Modèles de mouvement En développant en série de Taylorautour de jusqu’au 1er ordre (9) Ici M Modèle afffine à 6-paramètres

7. Modèles affines Exprimant =

8. Hiérarchie des modèles affines

9. 3.2.3. Méthodes d’estimation Objectif :mesurer le mouvement apparent Applications :indexation vidéo : caractérisation du mouvement de la caméra, suivi des objets Méthodes :-directes (estimation du flot optique) - indirectes (parametriques- estimation du modèle global) Modes :basé-pixel, basé-bloc, basé-région

10. (x+dx, y+dy) (x, y) (dx, dy) Estimation du mouvement(1) Hypothèse principale :conservation de l’intensité lumineuse d’un point le long du trajectoire n’est jamais nulle à cause du bruit et de changement d’éclairage (12)

11. Estimation du mouvement(2) Critères à minimiser: EQM, MAD min min Estimation directe Estimation paramétrique

12. Estimation du mouvement(3) Développant en série de Taylor autour de(x,y,t) et supposant la linéarité deI(x,y,t)on a Du (12) l’équation de contrainte du mouvement apparent (ECMA)

13. Estimation du mouvement(4) Sous forme vectorielle alors Comme u v ECMA Décomposons , est parallèle au gradient local est orthogonale Estimation du mouvement est un problème mal posé. Uniquement le flot optique normal est observable

14. Estimation du mouvement(5) Une autre vue • Siu,vsont supposées indépendantes, alors une seule équation pour deux inconnues – • problème d’unicité de la solution – “problème d’ouverture” • Problème du bruit d’acquisition • Problème d’occultation

15. Estimation du mouvement(4) (1)Illustration du « problème d’ouverture » flot optique normal flot optique réel (3) Illustration du « problème d’occultation » Zone découverte : pas de correspondance des pixels avec l’image précédente

16. Méthodes pel-récursives(1) Méthodes d’optimisation différentielles de premier ordre (descente de gradient) avec le gain constant Fonctionnelle à minimiser Méthode de Netravali et Robbins Problème du bruit -> préfiltrage gaussien

17. Méthodes pel-récursives(2) Gain adaptatif en fonction de l’image Méthode de Walker et Rao Méthode of Cafforio and Rocca

18. Estimation paramètrique(1) Un modèle globale est supposé dans une zone du plan-image (ex. dans un bloc, dans un région, dans le fond de la scène – mvt. de caméra) Méthodes d’estimation : differentielles de 1er ordre ( déscente de gradient), 2nd ordre ( Gauss-Newton), moindres carrés Modèles : affines 1er order ( 4, 6-paramètrs) Example: Modèle:

19. Estimation paramétrique(2) Fonctionnelle à optimiser : Application de la méthode de Cafforio-Rocca avec le gain adaptatif de même ordre de grandeur que pixels

20. Approches multi-résolution-multi-échelle 1)Construction des pyramides Gaussiennes pour 2) Estimation des paramètres de mouvement commençant par le niveau le plus élevé 3) Propagation r -le facteur de sous-échantillonnage

21. Estimation robuste (1) • - On suppose le mouvement conforme au modèle paramétrique • On considère • - les mesures observées • - les mesures conformes au modèle • - les résidus • Principe minimiser un critère d’erreur de façon que les valeurs aberrantes de résidus ne perturbent l’estimation

22. Estimation robuste (2) • Soit la loi discrète de distribution d’erreur dépendant du paramètre . • La vraisemblance du paramètre est définie • Le max-vraisemblance est trouvé en résolvant • Ceci est équivalent à minimiser Pour toutes les valeurs disponibles de r

23. Estimation robuste (3) est appelé “estimateur” (*) Supposons que r suit (Estimateur gaussien). (*) est l’estimateur aux moindres carrés EstimateurdeLorentz Estimateur de Geman-McClur D. Hasler, L. Sbaiaz, S. Susstrunk, M. Vetterli, « Outlier Modeling in Image Matching », IEEE TRans on PAMI, v. 25, n3, march 2003

24. Estimation robuste(4) Exemple : Estimateur des moindres carrés médians : Modèle: • avantage : une grande robustesse aux erreurs(50%) • - inconvénient : lourdeur de calcul

25. Estimation robuste (5) Minimisation problem is posed as a re-weighted least – square minimisation min here

26. Estimation robuste(2) M-estimateurs r - est opposé de log-vraisemblance des observations conditionnellement au modèle -sont des fonctions d’influence (des outliers) -moindres carrés –l’influence est illimitée -la dérivée d’estimateur de Tuckey

27. Estimation robuste (3) Estimateur de Tuckey La dérivée

28. Estimation robuste(3) Estimation par de moindres carrés pondérés Minimiser le critère revient à calculer les dérivées partielles par rapport à chaque paramètre et les égaler à 0 On obtient ainsi les coefficients de pondération du moindre-carré Méthode d’estimation – itérative en recalculant les poids à chaque itération

29. Estimation par bloc Objectif :obtenir le champ de déplacement éparse Le FO est supposé constant à l’intérieur d’un bloc Le critère à minimiser : ou B It It-dt

30. Méthode de recherche exhaustive Estimation « au pixel près » B F It-dt It L’inconvénient majeur : coût opératoire Les estimateurs basés-blocs sont utilisés pour tous les standards du codage vidéo cf. UE « Codage Vidéo »