Multimedia Data Mining

1. Multimedia Data Mining Dapertemen Ilmu Komputer Institut pertanian Bogor 2008

2. Apa yg terpenting dalam DM? Data

3. Video Kombinasi Teks Image Animasi Suara Multimedia Data 3

4. Multimedia DM • Bagian dari DM yang berhubungan dengan : • ekstraksi dari pengetahuan implisit, • keterhubungan data multimedia, atau • pola lain yang tidak secara eksplisit tersimpan dalam basis data multimedia

5. Mengapa Multimedia DM ?

6. Disiplin ilmu terkait Basis data : perluasan dari KDD (rule patterns) Sistem informasi Analisis dan temu kembali informasi multimedia Content based image & video search Organisasi penyimpanan data multimedia yang efisien

7. Pencarian kesamaan pada Data Multimedia • Sistem temu-kembali berbasis deskripsi • Membangun indeks dan menyajikan temu kembali obyek berdasar pada deskripsi image seperti kata kunci, judul, ukuran, waktu pembuatan • Butuh banyak pekerja jika dilakukan secara manual • Hasil umumnya berkualitas rendah jika diotomasikan

13. Video retrieval - keywords • Key word search berbasi subtitles • Live demo: http://km.doc.ic.ac.uk/vse/

14. Content Based Retrieval System • Mendukung temu kembali pada data multimedia berbasiskan pada karakteristik media tersebut, contoh • Image : • Histogram warna • Tekstur • Bentuk • Obyek • Suara • Pitch, timbre, loudness • duration

15. Color Histogram

16. Texture Feature Brodatz collection

20. Kueri dalam CBR • Kueri berbasis contoh image • Cari seluruh image yang mirip dengan contoh image yang diberikan • Bandingkan vektor fitur (signature) yang diekstraksi dari contoh dengan vektor fitur dari image yang telah diekstrak dan diindeks dalam basis data

22. Kueri dalam CBR • Kueri berbasis fitur secara spesifik • Spesifikasi atau sketsa fitur image seperti warna, tekstur, atau bentuk yang nanti diterjemahkan ke dalam vektor fitur

27. http://cagle.slate.msn.com/news/napster/main.asp

28. Sound retrieval by content • Musik yang sama berbeda instrumen • Bagaimana cara mencari melodi seperti berikut?

29. Audio Search

30. Context browser & playback

31. Video Query Directed query

32. Video Query

33. Video Query • Query By Video Example

34. Relevance Feedback

35. Image Retrieval • Semantic Similarity

36. Image Retrieval • Semantic Similarity

37. Image Retrieval • Similarity of colors

38. Image Retrieval • Shift-Invariant

39. Image Retrieval • content-based

41. System Overview

42. System overview

44. Design Issues of Image Retrieval • Retrieval specification • query • browsing • Feature extraction • Similarity measures • Access methods of Image Retrieval

45. Design Issues of Video Retrieval • Retrieval specification • video browsing • video query • Video Parsing • Feature extraction • Similarity measures

46. Video Browsing • Hierarchical video browsing

47. Story-Based Video Browsing

48. Scene Change Detection • Detected by frame sizes of motion JPEG

49. Multidimensional Analysis of Multimedia Data • Kubus data Multimedia • Desain dan konstruksi mirip dengan kubus data tradisional dari data relasional • Mengandung dimensi & ukuran tambahan untuk informasi multimedia, seperti warna, tekstur, bentuk

50. Multidimensional Analysis of Multimedia Data • Basis datanya tidak menyimpan image, tapi menyimpan deskriptornya • Feature descriptor: seset vektor untuk tiap karakteristik visual • Color vector: mengandung color histogram • MFC (Most Frequent Color) vector: five color centroids • MFO (Most Frequent Orientation) vector: five edge orientation centroids • Layout descriptor: mengandung color layout vector & edge layout vector