Distances de similarité d’images basées sur les arbres quaternaires

Distances de similarité d’images basées sur les arbres quaternaires Marta Rukoz1 Maude Manouvrier2 Geneviève Jomier2 *Réalisé dans le cadre d’une coopération scientifique CNRS-FONICIT 1. CCPD - Université Centrale du Venezuela - Caracas 2. LAMSADE - Université Paris-Dauphine - France

Plan • Introduction • Représentation multi-niveau • Définition de la distance • Conclusion et perspectives 2 BDA’2002 M. Manouvrier

Introduction Recherche d’images par le contenu • Représentation des images • Distance / similarité entre images • Interrogation des images 3 BDA’2002 M. Manouvrier

Représentation des images Bavg Ravg Gavg Représentation des images par des vecteurs de caractéristiques (points dans un espace multidimensionnel) 4 BDA’2002 M. Manouvrier Image adaptée de http://simulant.ethz.ch/Chariot/

Distance entre images Vérifiant  i, j, k trois images : • symétrie • réflexivité • inégalité triangulaire 5 BDA’2002 M. Manouvrier

Similarité d’images • Point de vue utilisateur : similarité par rapport à une caractéristique • Point de vue système : distance entre vecteurs de caractéristique • Similarité :fonction décroissante de la distance • avec d la distance entre deux images • et dmax la distance maximale entre deux images 6 S. Lin, An Extendible Hashing Structure for Image Similarity, Rapport technique, University of Alberta, 2000

Requêtes sur les images B: une base d'images i : une image q : une image requête Q : le résultat de s:un seuil la requête • Requêtes d’intervalle • Requêtes de voisinage 7 S. Lin, An Extendible Hashing Structure for Image Similarity, Rapport technique, University of Alberta, 2000

Représentation multi-niveau Histogrammes en niveaux de gris Noir Blanc 8 BDA’2002 M. Manouvrier

0 000 001 00 01 0 00 01 02 03 ... ... 000 001 002 003 ... 002 003 ... ... 02 03 Utilisation d’un arbre quaternaire (quadtree) ... 9 BDA’2002 M. Manouvrier

Représentation multi-niveau 0 0 Niveau 0 Niveau 1 00 00 01 01 02 02 03 03 ... ... ... ... Niveau n 000 000 001 001 002 002 003 003 10

Utilisation des arbres quaternaires lors de la recherche des images par le contenu • H. Lu, B-C. Ooi and K-L. Tan, Efficient Image Retrieval by Color Contents, ADB’1994 • S. Lin, M. Tamer Özsu, V. Oria, and R. Ng. An Extendible Hash for Multi-Precision Similarity Querying of Image Databases, VLDB'2001 • J. Malki, N. Boujemaa, C. Nastar, and A. Winter. Region Queries without Segmentation for Image Retrieval by Content. Visual’1999 • Hae-Kwang Kim and Jong-Deuk Kim. Region-based shape descriptor invariant to rotation, scale and translation. Signal Processing: Image Communication 2000 11 BDA’2002 M. Manouvrier

k : identificateur de nœud parmi l’union des identificateurs de nœuds des arbres quaternaires de i et j • : distance normalisée entre les nœuds k • ck : coefficient représentant le poids du nœud k dans le calcul de la distance Notre proposition Définition générale de distances entre images représentées par des arbres quaternaires Certaines distances d’articles scientifiques sont des cas particuliers de  De nouvelles distances apparaissent 12 BDA’2002 M. Manouvrier

j i 0 0 01 01 03 02 00 02 03 00 011 010 011 012 013 010 012 013 Valeur particulière  0110 0111 0112 0113 E. Albuz, E.D. Kocalar, and A.A. Khokhar. Quantized CIELab* Space and Encoded Spatial Structure for Scalable Indexing of Large Color Image Archives. IEEE ICASSP, June 2000 Distance T : distance entre structures d’arbres Distance entre les arbres quaternaires d’une même image découpée selon deux critères différents : 13

j i 0 0 01 01 03 02 00 02 03 00 011 011 010 012 013 010 012 013 0110 0111 0112 0113 0110 0111 0112 0113 Distance T : distance entre structures d’arbres Distance entre les arbres quaternaires de deux images différentes découpées selon le même critère : 14 BDA’2002 M. Manouvrier

Q(A,C)=1/5 Image B A Image A Image C Q(B,C)=5/9 0 B C 0 0 03 00 01 02 03 00 01 02 00 01 02 03 030 031 032 033 Distance Q • Pour évaluer le partage entre arbres quaternaires • M. Manouvrier, M. Rukoz, and G. Jomier. Quadtree representations for storage and • manipulation of clusters of images. Image and Vision Computing, 2002 15

Distance V 0 Nœuds occupant 1/4 de la surface de l’image 03 1/2 00 01 02 Nœuds occupant 1/16 de la surface + 2 * 1/16 1 * 1/4 3*1/4 + 4*1/16 030 031 032 033 030 031 032 033 • Distance visuelle entre images organisées en arbre quaternaire Image j Image i 0 03 00 01 02 BDA’2002 M. Manouvrier 16

Expérimentations • Image en N&B de 512 x 512 pixels dont 89% de pixels égaux • Critère de découpage en arbre quaternaire : couleur • Distance Q : 0.13503 • Distance V : 0.1081543 17 BDA’2002 M. Manouvrier

Expérimentations • Image en 16 millions de couleur de 512 x 512 pixels • Critère de découpage : couleurs uniformes en moyenne • Distance Q : 0.24198 • Distance V : 0.5578308 18 BDA’2002 M. Manouvrier

Expérimentations Distance Q jusqu’au niveau 2 : 1.5290287E-5 Distance V jusqu’au niveau 2 : 0.0 Distance Q jusqu’au niveau 5 : 0.0034167327 Distance V jusqu’au niveau 5 : 0.025390625 Distance Q de la région 02 : 0.26614186 Distance V de la région 02 : 0.46246338 Distance Q de la région 03 : 0.3010675 Distance V de la région 03 : 0.5908203 19 BDA’2002 M. Manouvrier

Expérimentations Distance Q : 0.24262393 Distance V : 0.8547058 Distance Q jusqu’au niveau 2 : 0.0 Distance V jusqu’au niveau 2 : 0.0 Distance Q jusqu’au niveau 5 : 0.0038938588 Distance V jusqu’au niveau 5 : 0.21972656 Distance Q de la région 02 : 0.29505217 Distance V de la région 02 : 0.8748169 Distance Q de la région 03 : 0.28164285 Distance V de la région 03 : 0.8432617 20 BDA’2002 M. Manouvrier

Conclusion • Définition générale de distance • Utilisation de quels que soient les valeurs des nœuds et le choix de • Possibilité de filtrage • Calcul de distances entre régions d’images 21 BDA’2002 M. Manouvrier

Perspectives • Développement d’un prototype de recherche d’images par le contenu • Indexation multi-niveau • Agrégation de plusieurs distances 22 BDA’2002 M. Manouvrier

Granit Papier kraft Tapis tissé Représentation des images Caractéristiques visuelles de bas niveau • Forme • Couleur • Texture 23 BDA’2002 M. Manouvrier

Distances de similarité d’images basées sur les arbres quaternaires