Cours 10 à 12 5-6 Éléments symboliques

1. Cours 10 à 125-6 Éléments symboliques Découvertes États de projet 5- Extraction des éléments symboliques 5.1 Transformée de Hough 5.2 Extraction de segments de droite 5.3 Détection des contours 5.4 Détection des contours par poursuite des crêtes et vallées 5.5 Contours actifs (ou déformables) 6- Représentation des éléments symboliques

2. Découverte(cours 10) • Horaud, R,. Monga, O., Vision par ordinateur: outils fondamentaux, 2e édition, Hermes, 1995. • Paradigme de Marr • Détection des contours • Filtre de Deriche-Canny • Segmentation • Contours • Régions • Calibration de caméra • Stéréoscopie • Vision 3D

3. Découverte(cours 11) • B.K.P. Horn Robot Vision MIT Press et McGraw-Hill, 1986 • École de Marr • Contribution majeure: Shape from Shading - reconstruction 3D à partir de l’ombrage

4. Découverte(cours 12) • D.A. Forsyth et J. Ponce Computer Vision: A Modern Approach Prentice Hall, 2003 • Couvre la majorité des divers aspects des systèmes de vision • Couverture uniforme de la vision de niveau bas, moyen et haut • Exemples élaborés • Prix élevé: 166$

5. Chapitre 5 Extraction des éléments symboliques Un élément symbolique est un événement abstrait qui est localisé sur l’image mais qui requiert une description plus complexe que le pixel. On fait la transition, dans ce chapitre, de la vision bas-niveau (appelée aussi pré-attentive, centrée sur le pixel) vers la vision de niveau intermédiaire, centrée sur les symboles élémentaires que l’on retrouve par analyse dans l’image.

6. Exemples d’éléments symboliques • Segments de droite • Courbes • Contours fermés • Régions • Texture • Représentation des éléments symboliques • Indice unique • Attribut de localisation (1 au minimum) • Attributs de description (e.g. rayon de courbure, pente de la droite, etc)

7. 5.1 Transformée de Hough • But: Former une structure de ligne plus complète et plus compacte à partir d’arêtes reliées entre elles

8. L1 L2 b y L1 P’ L2 P x m • Principe: Transformer une ligne d’équation y=mx+b en un point dans l’espace de paramètres m et b. Chaque arête vote pour un candidat dans l’espace de paramètres. 1 point  1 ligne 1 ligne  1 point (déf. par 2 points) (inters. de 2 lignes)

9. Espace de paramètres

10. Détection d’arêtes orientées • 1 segment orienté  1 point • n segments  1 nuage d’orientations voisines

11. Algorithme • Quantifier b et m  b et m • H(m,b) = 0 matrice d’accumulation •  i,j tel que |A(i,j)| > T • H(m,b) = H(m,b) + 1  m,b tel que b= -mi + j • Max. local dans H(m,b) = segments colinéaires • Variantes • Hough pur: 1 point image  1 ligne • Arêtes |A| +   1 point orientées

12. b Espace de paramètres H(m,b) 2 1 0 m 0 0,25 0,5 0,75 1 1,25 2 3 1

13. Problème de représentation: La valeur de m devient trop importante pour des arêtes presque verticales. • Algorithme modifié • Paramètres: r, q • Algo. Identique, avec H(r,q)

14. Algorithme de Hough généralisé f(x,a) = 0 (x,a) est le vecteur de paramètres (axes dans l’espace de Hough) Talon d’achille localisation dans l’image est perdue les 2 sets (\ et \) activent le même maximum Hough. Nous aurons donc besoin de manipuler l’espace de l’image afin de connecter les segments détachés ou encore isoler les segments.

15. 5.2 Extraction de segments de droite Algorithme basé sur l’article: Extracting Straight Lines J.B. Burns, A. Hanson, E. Riseman IEEE Tr. PAMI, Vol. 8(4), Juillet 86, pp. 425-455 • But Extraire des lignes droites significatives à partir de l’image d’éclairement

16. Principe • Estimé de l’orientation des gradients locaux • Groupement des orientations similaires • Modélisation de la surface dans le groupe comme une rampe • Ligne: intersection de la rampe et du plan horizontal de hauteur Imoyen

17. Représentation surfacique

18. Ligne: intersection de 2 plans

19. Algorithme • 1: Estimé des orientations locales de gradient

20. 2: Formation des régions de support d’arêtes de même orientation • Segmentation par partition • Orientations réparties en classes • Région de support: arêtes connectées  même bin de H()

21. Problème des frontières: histogramme double • Orientations sur 2 histogrammes • Régions de support formées aves les 2 H() • Chaque arête vote pour la région avec la ligne extraite la plus longue

22. Problème du nombre de partitions

23. 3: Approximation de la représentation surfacique de l’éclairement par une surface plane. Pondération par l’amplitude du gradient Ligne: Intersection entre la surface plane et la surface horizontale dont la hauteur est la valeur moyenne pondérée de l’éclairement

24. 4: Mesure des attributs de la ligne • Longueur • Position • Orientation • Contraste (pente de la rampe) • Région de support • Paramètres du segment de ligne • 5: Filtrage des attributs Permet d’isoler les longues lignes, les lignes dans une certaine orientation, courtes et à faible contraste, etc.

25. Filtrage des attributs

27. 5.3 Détection des contours • Principe: Un contour est un ensemble ordonné de points connectés

28. Algorithme • 1: Détection des arêtes locales

29. 2: Amincissement par suppression des non-maxima (réf. Canny, 3.3.3 et Aphelion ImgEdgesThin) et seuillage

30. 3: Structuration des arêtes en liste chaînée • semence (point de départ): arête avec le gradient d’amplitude le plus élevé • Chaîne agrandie par les extrémités. Le meilleur candidat est choisi (si existant). Critères de sélection: • Angle de rotation  : • Angle entre l’arête orienté et l’orientation du lien • Longueur du lien • Choix du lien: pointage proportionnel à somme pondérée de L, b1, b2et g

31. Exemple

32. 5.4 Détection des contours par poursuite des crêtes et des vallées • Principe: L’image est interprétée comme une surface dans un espace 3D. éclairement  profondeur Crêtes ou vallées désignent des contours. Les crêtes / vallées sont détectées par dérivée seconde directionnelle

33. Algorithme • 1: Déterminer les points locaux de grande courbure négative ou positive

34. 2: Structuration des contours en liste chaînée • semence (point de départ): un point détecté de grande courbure (négative ou positive) • Chaîne agrandie vers les 2 extrémités Critères de sélection: • Angle de rotation  : • Angle entre contour de crête et l’orientation du lien • Longueur du lien • Choix du lien: pointage proportionnel à somme pondérée de L, b1, b2et g

35. Exemple: Image microscopique d’une plume • Représentation surfacique

36. Détection des crêtes et des vallées

37. Formation des listes chaînées

38. Mesure de la courbure La détection de contours par poursuite des crêtes et des vallées repose sur la détection de la courbure d’une surface tridimensionnelle. C’est une notion très importante en vision 3D auquelle nous nous penchons plus en détail. La notion de courbure sera explorée au laboratoire sur la numérisation 3D.

39. Paramétrisation de la courbure • 2 paramètres caractérisent une courbure: • K: la courbure gaussienne • H: la courbure moyenne • 2 mesures locales permettent de calculer K et H: • k1 et k2: les courbures principales de la surface, soient les courbures maximales et minimales au point d’intérêt.

40. H<0 H>0 K>0 K=0 K<0 H=0 • Catégories de courbure

41. Z s’ C2 (x,y) C1 s • Mesure de la courbure • Un maximum (ou minimum) de la dérivée seconde d’une courbe indique sa courbure et son point le + bas (le + haut) • Courbure locale: Mesure de dérivée seconde en différents points de la surface dans des directions orthogonales s et s’: 2 directions orthogonales C1 et C2 : courbures au point (x,y) C1: courbure dans plan Zos C2: courbure dans plan Zos’

42. z • Mesure de dérivée seconde pour localiser la courbure max. C1’ max C1’’

43. Matrice de Hess • Mesure locale de la courbure • Matrice formée avec les dérivées secondes selon x, y et xy

44. Le Hessien donne de l’information sur la courbure locale de surface (pour de faibles inclinaisons)

45. Direction de courbure maximum • Valeurs propres calculées à partir du Hessien • Vecteur propre correspondant à la valeur propre maximale indique la direction de la crête ou de la vallée

46. Algorithme pour trouver max/min de courbure (Aphelion: ImgRidgeValleyEdges) • (x,y) de l’image: • Calculer • Trouver les valeurs propres i • Trouver le vecteur propre associé au i max. Le vecteur propre pointe vers la courbure positive ou négative.

47. 5.5 Contours déformables Les travaux de recherche sur les contours déformables sont relativement récents et sont issus des travaux pionniers de Kass, Witkin et Terzopoulos lors d’une conférence présentée en 1987 à la première conférence internationale sur la vision informatique. Les contours déformables sont aussi appelés contours actifs et « snake »

48. Objectif: Détection des contours fermés d’une image à partir de quelques points d’arête situés près du contour • Principe: • L’image est considérée comme une image de profondeur z=f(x,y). Représentation surfacique. • Un élastique entoure le contour désiré • L’énergie interne de l’élastique est minimisée

49. Triangulation stéréoradiographique Modélisation géométrique + Traitement d’images Illustration: Reconstruction 3D du squelette ETS, Polytechnique, LIO-CHUM, LIS3D-Ste Justine, ENSAM-Paris

50. Fonctionnelle d’énergie Une fonctionnelle d’énergie est associée à chaque forme de contour. Le contour à détecter correspond à un minimum d’énergie.