SUJETS SPÉCIAUX EN INFORMATIQUE I

1. SUJETS SPÉCIAUX EN INFORMATIQUE I PRO-6003

2. Indexation d’image • Étapes du processus de reconnaissance de formes (indexation d’images) • Indexation d’image • Interactions en l’utilisateur et le moteur de recherche • Manières de formuler une requête • Texte • Image • Mesure de similarité

3. Étapes du processus de reconnaissancede formes, indexation d’images

4. Indexation des images • Depuis quelques années la disponibilité d’images, de vidéos sur le Web a beaucoup augmenté • Par conséquent, les utilisateurs font de plus en plus de requêtes d’informations liées aux images et vidéos • Il existe deux types d’interactions entre l’utilisateur et un moteur de recherche d’images

5. Indexation des images • Recherche basée sur la requête • Étape 1: Le moteur de recherche présente une interface à l’utilisateur afin qu’il formule sa requête. Il peut s’agir d’une zone de texte où l’utilisateur entre les mots-clés décrivant ce qu’il cherche, ou un ensemble d’images que l’utilisateur peut choisir comme exemples. • Étape 2: L’utilisateur formule sa requête. • Étape 3 : Le moteur effectue la recherche en comparant cette requête avec les images de la collection. Ceci implique l’extraction de caractéristiques, le calcul de mesures de similarité entre la requête et les images de la BD, l’utilisation éventuelle d’un index, ainsi que le tri des images sur la base de la similarité. • Étape 4: Le moteur affiche les images résultantes à l’utilisateur.

6. Indexation des images • Recherche basée sur la requête • Étape 5: Si l’utilisateur est satisfait ou il veut tout simplement mettre fin à la session de recherche, il peut s’arrêter. Sinon, il donne son feedback à propos de ces résultats. • Étape 6: Le moteur exploite cette information et essaye de trouver des résultats plus pertinents, puis il revient à l’étape 4.

7. Indexation des images • Recherche basée sur la requête

8. Indexation des images • La navigation • Le système commence par créer un catalogue en regroupant chaque ensemble d’images similaires au sein de la même classe. Cette similarité peut être calculée en termes d’éléments visuels, de concepts sémantiques, ou des deux. Il est préférable que le catalogue soit hiérarchique, ce qui veut dire que chaque thème de niveau supérieur est subdivisé à son tour en des sous-thèmes. Une fois le catalogue créé, l’utilisateur peut naviguer dans la BD en commençant par un thème et en allant soit en profondeur pour parcourir les sous-thèmes, soit en largeur pour passer à d’autres thèmes connexes. À tout moment, il peut décider de changer de thème ou de mettre tout simplement fin à la session de navigation.

9. Indexation des images • La navigation

10. Indexation des images • Manières de formuler une requête (texte) • Requête par les mots-clés : • L’utilisateur exprime ses besoins en fournissant un ou plusieurs mots-clés, combinés à l’aide de connecteurs logiques tels que ET, OU et NON. • Requête par des phrases : • L’utilisateur fournit une phrase qui décrit ce qu’il cherche. Ex. Je cherche « une image où l’on voit des gens en train de manger dans un pars ». Le défi avec ce genre de requêtes et d’analyser la phrase afin d’en extraire les mots les plus importants aux yeux de l’utilisateur. • Avantages : • Expression en langue naturelle qui permet à l’usager d’exprimer sa requête comme il le fait dans la vie de tous les jours. • Elle permet de réutiliser les techniques de recherche de texte, qui ont été développées au fil des années.

11. Indexation des images • Manières de formuler une requête (texte) • Avantages (suite …) : • Plusieurs chercheurs ont constaté que le texte permet de capter plus facilement les concepts sémantiques associés avec des images. Imaginons par exemple un utilisateur qui est à la recherche d’images décrivant le concept « Joie ». Comme on le verra un peu plus loin, les techniques actuelles de recherche par le contenu ont énormément de difficulté à extraire un tel concept des images de façon automatique. Si on utilise le texte par contre, répondre à cette requête devient tout à fait possible en autant que certaines images soient annotées avec ce mot. • Désavantages : • Premièrement, cette technique devient inutilisable quand la collection ne contient aucun texte qui accompagne les images.

12. Indexation des images • Manières de formuler une requête (texte) • Désavantages : • Premièrement, cette technique devient inutilisable quand la collection ne contient aucun texte qui accompagne les images. Ceci est malheureusement le cas de la plupart des collections d’images personnelles. Les gens ne prennent souvent pas le temps d’annoter leurs photos personnelles avec du texte. Beaucoup d’entre eux se contentent de vider leurs dispositifs d’acquisition (appareils photos et autres) en recopiant les images sur leur disque dur. C’est également le cas de beaucoup de collections professionnelles. L’annotation peut devenir très lourde si les collections comportent plusieurs images. • Même quand les images sont annotées avec du texte, cette annotation peut être très subjective. La même image peut être annotée avec des mots différents par des annotateurs différents.

13. Indexation des images • Manières de formuler une requête (texte) Manhattan, New York, Sky line, Gratte ciel, Mer, Navire, Ciel, pont, Arbres, Urbanisme, Rivière, traversier …..

14. Indexation des images • Manières de formuler une requête (texte) • Le texte dépend de la langue. Pour pouvoir faire la recherche dans une BD où les images ont été annotées en utilisant une langue donnée, il faut disposer d’outils qui traduisent les requêtes faites dans d’autres langues vers la langue d’annotation. • Le texte ne permet pas d’aller au-delà d’un certain degré de raffinement. À titre d’exemple, on est allé sur Google Image et on a cherché avec le mot « Goose ».

15. Indexation des images • Manières de formuler une requête (texte) • Résultat de la recherche sur Google Image avec le mot « Goose ».

16. Indexation des images • Manières de formuler une requête (texte) • Toutes ces images contiennent en effet des oies. Qu’arrive-t-il maintenant si on est intéressé par des images qui contiennent des oies mais qui doivent en plus ressembler visuellement à l’image d’une oie avec les ailes déployées? • Cette image contient une seule oie, avec une position bien déterminée, des ailes et des couleurs très spécifiques, de l’eau d’une couleur et d’une texture très particulières, etc. • Il est impossible de décrire tous ces détails en utilisant du texte, ce qui démontre la limitation des capacités du texte d’aller au-delà d’un certain degré de raffinement.

17. Indexation des images • Manières de formuler une requête (texte)

18. Indexation des images • Manières de formuler une requête (texte) • Une image vaut mille mots : elle peut contenir une multitude d’objets avec une disposition donnée, des nuances de couleurs très particulières, et des formes que l’on ne peut pas décrire avec du texte. • Une image de maisons ayant une forme bien particulière, des voitures de marques, modèles et couleurs bien déterminés, des arbres, du gazon, des poteaux, etc. Tous ces objets sont disposés d’une manière très particulière. Comment peut-on décrire tout le contenu de cette image avec des mots?

19. Indexation des images • Manières de formuler une requête (texte)

20. Indexation des images • Manières de formuler une requête (texte) • Si les images sont entourées de texte, telles que sur les pages Web, ce texte peut être exploité dans leur indexation. Cette technique est utilisée par certains moteurs de recherche sur le Web. La difficulté vient cependant du fait qu’il n’est pas facile de décider quels mots sont pertinents à l’image.

21. Indexation des images • Manières de formuler une requête (texte)

22. Indexation des images • Manières de formuler une requête (images) • Les limitations de la recherche par le texte ont amené certains chercheurs à se demander s’il ne faut pas plutôt laisser les images parler d’elles mêmes. En d’autres termes, l’idée était de permettre à l’utilisateur de formuler sa requêtes en utilisant des images, le système se charge de lui trouver des images qui leurs ressemblent. • Pour répondre à ces requêtes composées d’images nécessite des techniques de recherches différentes de celles utilisées avec des requêtes textuelles. Cette nouvelle méthode a été connue sous le nom de Recherche d’images par le contenu ou CBIR. • Dans la recherche par le contenu, la requête peut être formulée de différentes manières.

23. Indexation des images • Manières de formuler une requête (images) • Notons cependant qu’il y a un certain nombre d’étapes communes à la plupart de ces manières : • Un certain nombre de descripteurs visuels doivent être extraits de toutes les images de la BD. Cette extraction doit se faire à priori, i.e., avant même que l’utilisateur fassent des requêtes. • Les mêmes descripteurs visuels doivent être extraits de la requête. • La comparaison entre la requête et une image de la BD revient à comparer les descripteurs visuels des deux et évaluer leur ressemblance.

24. Indexation des images • Manières de formuler une requête (images) • Requête où l’utilisateur fournit la valeur de chaque caractéristique • Pour cette technique l’usager doit fournir la valeur numérique de chaque caractéristique au moteur de recherche. • Si par exemple chaque image est décrite par les moments de sa couleur et les descripteurs de Fourier des formes qu’elle contient, alors c’est à l’utilisateur de fournir la valeur numérique de ces caractéristiques.

25. Indexation des images • Manières de formuler une requête (images) • Requête où l’utilisateur fournit la valeur de chaque caractéristique • Formuler une telle requête est une tâche très difficile voire impossible pour l’utilisateur même s’il est spécialiste du traitement d’images, l’utilisateur commun ignore jusqu’à la signification des caractéristiques telles que le Filtre de Gabor ou encore les Descripteurs de Fourier, il est extrêmement difficile, même pour un spécialiste, de traduire ses besoins (les images qu’il cherche) en un ensemble de valeurs numériques.

26. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s) • La technique de recherche par le contenu qui a connu le plus de succès. Le principe de cette technique est simple : • Le moteur commence par proposer à l’utilisateur un échantillon d’images de la BD • L’utilisateur sélectionne une ou plusieurs de ces images , et demande « Trouve-moi des images qui lui (leur) ressemblent ». • Le moteur parcourt la BD à la recherche d’images qui ressemblent à la requête, puis retourne les résultats à l’utilisateur.

27. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s)

28. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s) • Avantages : • Elle peut être utilisée même si la BD ne comporte aucun texte. • Elle s’applique bien aux images très complexes et celles qui contiennent une multitude d’objets qui ne peuvent être décrites avec du texte. • Elle permet d’atteindre un niveau de raffinement que le texte ne permet pas. Par exemple, chercher des images qui ressemblent visuellement à l’image de maisons précédentes est tout à fait possible avec la recherche par images exemples. • Le contenu des images est plus objectif que le texte. • Défis : • L’extraction de caractéristiques visuelles. • Le fossé sémantique (the semantic gap).

29. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s) • Extraction des caractéristiques visuelles : • L’extraction des caractéristiques visuelles qui représentent bien le contenu des images est l’aspect le plus important de la recherche par le contenu. Une multitude de caractéristiques ont été proposées dans la littérature. Elles peuvent être regroupées dans différentes familles. • Basées sur la couleur; elle inclut les histogrammes, les moments, etc. • Basées sur la texture; elle inclut : la matrice de cooccurrence, le filtre de Gabor, l’autocovariance, etc. • Bsées sur la forme; elle inclut : les moments invariants, les descripteurs de Fourier, les points de contour, etc.

30. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s) • Extraction des caractéristiques visuelles : • Basées sur les caractéristiques mixtes qui décrivent plus d’un aspect, telles que le correlogramme qui décrit à la fois la couleur et la texture. • D’autres caractéristiques ont également été proposées pour décrire la structure, les points d’intérêt, etc.

31. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s) • Le fossé sémantique : • La recherche par le contenu a beaucoup de difficulté à capter leur sémantique. Imaginons par exemple un utilisateur qui est à la recherche d’images que l’on peut associer au concept « Lunch ». Bien que toutes ces images décrivent ce concept, il y a peu ou pas de ressemblance visuelle entre elles. Comment peut-on alors que la recherche par le contenu puisse répondre à une telle requête. Ce problème de manque de lien entre le contenu visuel d’une image et les concepts sémantiques qu’on peut lui associer est connu sous le nom du Fossé Sémantique. • Différentes solutions ont été proposées afin d’alléger ce problème. Certains combinent tous simplement le contenu des images avec du texte puisque ce dernier capte mieux la sémantique.

32. Indexation des images • Manières de formuler une requête (images) • Requête basée sur une (des) image(s) exemple(s) • Le fossé sémantique :

33. Indexation des images • Mesures de similarité • Comment faire pour comparer un ensemble de caractéristiques d’une image requête avec les caractéristiques d’images d’une BD ?