Tartalomalapú médiavisszakeresés

1. Tartalomalapú médiavisszakeresés Kiss Attila Információs Rendszerek Tanszék kiss@inf.elte.hu

2. Bevezetés • A webre egyre több multimédia tartalom (kép, hang, videó) kerül fel. • A multimédia tartalmak kategorizálása, szöveges leírása • rengeteg emberi munka lenne, • a leírások nem biztos, hogy elég pontosak. • A tartalom alapú keresők • a multimédia adatokat a jellemzők (features) értékei alapján egy többdimenziós térben ábrázolják. Ezek után osztályozási, mintaillesztési feladatokat oldanak meg. • Tipikus, hogy egy képhez keresünk hasonlókat. Lehet hangminta, dúdolás alapján is keresni. • Alkalmazások: • például röntgen képeket összehasonlítva a hasonló képek alapján segít diagnózist alkotni.

3. An Image Retrieval Example (Viper) The query input.

4. An Image Retrieval Example (Viper) The query output.

5. User feedback.

6. Refined results. Better?

7. Another query for paintings.

8. Painting Search Result The shortlist returned from the search.

9. Tartalomalapú keresés • Hogy adjuk meg a keresési feltételt: • Szöveges leírással. • Egy vagy több mintaképet, hangot, klippet adunk meg. • Rajzolunk egy egyszerű vázlatot, például sötét háttérben egy narancssárga kört, ha naplementés képeket keresünk. • Kombináljuk fentieket. • Az eredmény formája • Egy lista, például kicsinyített képekkel. • Azok a klipprészek, amit kerestünk, például, ahol autós üldözési jelenet látható. • Az eredményből strukturált weboldalt vagy más dokumentumot állítunk elő. • A felhasználó finomíthatja, véleményezheti az eredményt, ezzel tovább jaívthatja a kereső algoritmust. • A kereséshez az alapvető feladata médiaadatok összehasonlítása.

10. Hogyan értékeljük ki a keresési algoritmus jóságát? • Pontosság (Precision) és Recall • Precision = (# releváns elemek) / (# összes visszaadott elem) • Recall = (# releváns elemek) / ( # reof related items in the dataset) • The procedure of drawing a Recall-Precision Curve: • Compute the relevance score for each item in the database. • Sort the list. • Assume the sorted list is like r r r n n r r r n n … and we have total 6 relevant items in the database

11. The Recall-Precision Curve 1 Precision 1/62/6 3/6 4/6 5/6 1 Recall Short list is like: r r r n n r r r n n … Q: Why do not we just use a single value instead of a curve?

12. The “Best” Recall-Precision Curve 1 Precision (# of relevant items)/ (# of total items) 1 Recall 1/(# of relevant items)

13. Image Retrieval Methods • To find images in a database, we have to compare images quantitatively based on “features”. • We can compare the images as a whole using features like: • Color, textures and their spatial layouts. • We can also segment images into regions and use similar features in object detection. • In some recent systems, people use salient features such as SIFT (Scale Invariant Transform) like features, learning and pattern recognition methods.

14. Szín-hisztogram módszer Sok rossz találat is lesz.

15. Szín-hisztogram javítása • Válasszuk szét az előteret és a hátteret. Background Foreground

16. Szín-hisztogram továbbfejlesztése • Definiáljunk térbeli tartományokat és köztük lévő kapcsolatokat. Color Blob 1 Color Blob 2

17. Keressünk hasonló alakzatokat • Finding similar shapes is a very useful tool in managing large number of images. • Chamfer matching is a standard method to compare the similarity of shapes. • General Hough Transform can also be used to find shapes in images.

18. Shape Context • Shape context is another widely used feature in shape retrieval. Cij is the distance of shape contexts hi and hj

19. Improve Matching Efficiency • Fast pruning in matching • Reprehensive shape contexts • Shapemes Greg Mori, Serge Belongie, and Jitendra Malik, Shape Contexts Enable Efficient Retrieval of Similar Shapes, CVPR, 2001

20. Example Results Reprehensive shape contexts in shape matching

21. Current Trends and Challenges • We now show a more “recent” work The goal is to detect whether an object appears in an image. L. Fei-Fei, R. Fergus, and P. Perona. A Bayesian approach tounsupervised One-Shot learning of Object categories.ICCV 2003.

22. SIFT features are used. The good features are In fact learned from Small set of training images.

23. Motor bike Results.

24. Competitions about Object Recognition • http://www.pascal-network.org/challenges/VOC/voc2007/

25. Retrieve Other Multimedia Data • Audio retrieval • Find a audio clip in a large database. • Video retrieval • Find a specific video clip. • Find a video short that has specific person or action. • Browsing video …

26. Data Structures in Media Retrieval • In multimedia data retrieval we often need to find the “nearest Neighbor” in the database from the exemplar. • We can abstract each media object as a feature vector. Our goal is to organize the database so that we can locate the most similar vector as quickly as possible. • Q: Think of some data structures that help to improve the searching.

27. K-d Tree • A 2D k-d tree a d e b b c c d f a f

28. Summary • Content based multimedia retrieval is still not mature. Many problems still need to be solved. • There is no single method that solves all the problems. • We need better object detection and classification schemes. • Other related problems like multimedia data mining are also attracting more and more interest.