Hervé Goëau

1. Hervé Goëau Structuration de collection d’images par apprentissage actif crédibiliste  25 mai 2009

2. Motivations • Valoriser des fonds de collections d’images • Contexte INA : Photothèque • Contexte « grand public » : collections personnelles de photographies Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Bateaux Plage Montagnes Famille

3. Systèmes existants • Manuel • +expressivité, ergonomie • - fastidieux • Automatique • + productivité • -satisfaction • Semi-automatique • + expressivité, contrôle utilisateur • - peut être fastidieux Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

4. Objectifs et contraintes • Semi-automatique • Collections vierges • Satisfaction totale de l’utilisateur • Capturer ses intentions • Diminuer sa charge de travail • Une ou plusieurs catégories par image Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

5. Proposition Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Utilisateur Choix d’une stratégie de sélection Interactions Sélection active d’images Etats de connaissance Modélisation et synthèse de la connaissance Interface homme machine Liste(s) d’images Images non étiquetées Images étiquetées Etiquetages Nouvel état des étiquettes

6. Modélisation et synthèse de la connaissance Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

7. Problématique Ø ? Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion « éléphants » ? ? ? « plages » « monuments »

8. Contenus visuels Non étiquetée u Étiquetéelq Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Descriptions couleurs, orientations Croyance que u appartient à la même classe de lq? Fossé sémantique? Appartenances multiples? Combinaisons ?

9. Fonction de croyances (1/3) Modèle des Croyances Transférables [Smets94] Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Cadre de discernement : Espace puissance : conflit doute Distribution de masses (KnnEv [Denoeux95]) :

10. Fonction de croyances (2/3) Adaptation locale des fonctions de croyances Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Knn « négatifs » Paramètre f : croyance aux frontières des classes

11. Fonction de croyances (3/3) Paramètre f : gestion des croyances aux frontières des classes Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion u

12. Combinaison de témoignages • Règle de combinaison conjonctive Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion • Problème : masse sur la proposition ?

13. Transfert de masses Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

14. Multi-classe • produit des cadres de discernement « locaux » • Exemple pour 2 classes : 4 hypothèses • Combinaison des distributions de masses l’opérateur « d’extension vide » [Smets93] Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

15. Multi-descripteur Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

16. Modélisation de la connaissance : bilan • Extension du KnnEv • connaissance détaillée : • Appartenance une ou plusieurs classes • Non appartenances • Doutes et conflit • Adaptation locale Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

17. Sélection active d’images Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

18. Apprentissage actif Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion « Vérité terrain » Modèle idéal t0 • Classer les échantillons les plus « informatifs »

19. Apprentissage actif Stratégie 1 Stratégie 2 Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion t0 t1 t2 t3 t4 • Classer les échantillons les plus « informatifs » • Pour l’apprentissage • Pour l’utilisateur Adéquation ?

20. Stratégies de sélections Transformation pignistique [Smets05] Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Hypothèses : - positives - rejet en distance - ambigües locales globale

21. Stratégie du plus positif Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Recherche des étiquettes les plus probables Premiers sélectionnés Derniers sélectionnés

22. Stratégie du plus rejeté en distance Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Exploration de nouveaux contenus visuels Premiers sélectionnés Derniers sélectionnés

23. Stratégie du plus localement ambigu Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Désambigüisation des classes 2 à 2 Premiers sélectionnés Derniers sélectionnés

24. Sélection active d’images : bilan Expression des stratégies usuelles avec le MCT Stratégies complémentaires pour identifier et cerner les classes Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

25. Interface homme-machine Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

26. Proposition automatique d’étiquette(s) Exemple à 3 classes Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Etiquetage sans rejets Etiquetage avec rejet en distance Etiquetage avec rejet en ambigüité ou étiquetage multiple sans rejets Etiquetage avec rejets ou étiquetage multiple avec rejet en distance

27. Interface et démonstration Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

28. Evaluations Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

29. Classification automatique et multi-étiquetage scene-classification [Boutell04] 6 classes Corel 1,08 étiquettes/image 1211 apprentissage / 1196 test Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

30. Caractérisation des stratégies (1/3) 5x100 images Corel Classes visuellement homogènes Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion Effort de l’utilisateur Nombre final de mauvaises propositions Evolution

31. Caractérisation des stratégies (2/3) Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion f = 0,4

32. Caractérisation des stratégies (3/3) Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion f = 0,7

33. Combinaison avec des métadonnées Combinaison avec des informations imprécises et partielles Ex : date de prise de cliché Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion 1820 photographies, 24 appareils, 6 événements temporels Préparatifs Séance photos Mairie Cérémonie Soirée Lendemain

34. Combinaison avec des métadonnées Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

35. Evaluation avec utilisateur • Documentaliste responsable de la Photothèque Ina • Méthodologie « penser à haute voix »  [Nielson92] • Téléfilm Borgia • ↗ Une même classe avec contenus visuels différents • ↗ Réorganisation à volonté des classes • ↗ Prise en main de l’interface • ↗ Adéquation avec usage • ↘ Prise en main des stratégies non immédiate • Suggestions : • Vue d’ensemble pour initialisation des classes • Hiérarchie Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

36. Conclusion • Verrous levés : • Satisfaction totale • Peu d’échantillons • Multi-étiquetage • Tout type de collections d’images • Cadre de formalisation : • Classification, stratégies, décisions • Modélisation du doute et du conflit • Echelle • Souplesse : • Gestion des classes : modification/création/suppression à la volé • Ajout de nouveaux descripteurs de contenus et métadonnées • Prototype : tests opérationnels Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

37. Perspectives (1/3) • Optimisations et autres tests : • Adaptation automatique des fonctions de croyances • Descripteurs (locaux) et métriques • Classifieurs de base • Semi-supervisé : • Structuration partielle de très grandes bases d’images • Structuration de vidéos Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

38. Perspectives (2/3) • Combinaison/alternance de stratégies • plus de propositions correctes • améliorer le confort de l’utilisateur Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion 1 MR, X MP

39. Perspectives (3/3) • Organisations hiérarchiques • Formalisation de « sur-classes » et « sous-classes » • Multi-étiquetage sur différents niveaux hiérarchiques Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

40. Merci pour votre attention Plan • Introduction • Modélisation de la connaissance • Sélection active d’images • Interface et démonstration • Evaluations • Conclusion

41. Compléments

42. DESCRIPTEURS MPEG7 (1/2) 5x100 images Corel Descripteurs standards (Rummager ) Stratégie du plus rejeté en distance MR k=5,f=0.7,distance de Bhattacharya Descripteur Nombre de corrections final Hrgb 33 Hhsv 33 Cced 35 Scd 35 Cfct 37 Hlab 39 Hluv 46 Horient 54 MPEG7cld 58 MPEG7ehd 68 MPEG7scd 399

43. DESCRIPTEURS MPEG7 (2/2) 5x100 images Corel Descripteurs standards (Rummager ) Stratégie du plus rejeté en distance MR k=5,f=0.7,distance de Bhattacharya

44. Fusion précoce et tardive

45. Réglage automatique du paramètre f

46. Influence du paramètre f

47. Transformation d’étiquettes PT3 PT4 PT6

48. Structuration de vidéos (1/4)

49. Structuration de vidéos (2/4)

50. Structuration de vidéos (3/4)