1 / 62

Multimedia Data Mining

Multimedia Data Mining. Dapertemen Ilmu Komputer Institut pertanian Bogor 2008. Apa yg terpenting dalam DM?. Data. Video. Kombinasi. Teks. Image. Animasi. Suara. Multimedia Data. 3. Multimedia DM. Bagian dari DM yang berhubungan dengan : ekstraksi dari pengetahuan implisit,

maddox
Download Presentation

Multimedia Data Mining

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Multimedia Data Mining Dapertemen Ilmu Komputer Institut pertanian Bogor 2008

  2. Apa yg terpenting dalam DM? Data

  3. Video Kombinasi Teks Image Animasi Suara Multimedia Data 3

  4. Multimedia DM • Bagian dari DM yang berhubungan dengan : • ekstraksi dari pengetahuan implisit, • keterhubungan data multimedia, atau • pola lain yang tidak secara eksplisit tersimpan dalam basis data multimedia

  5. Mengapa Multimedia DM ?

  6. Disiplin ilmu terkait Basis data : perluasan dari KDD (rule patterns) Sistem informasi Analisis dan temu kembali informasi multimedia Content based image & video search Organisasi penyimpanan data multimedia yang efisien

  7. Pencarian kesamaan pada Data Multimedia • Sistem temu-kembali berbasis deskripsi • Membangun indeks dan menyajikan temu kembali obyek berdasar pada deskripsi image seperti kata kunci, judul, ukuran, waktu pembuatan • Butuh banyak pekerja jika dilakukan secara manual • Hasil umumnya berkualitas rendah jika diotomasikan

  8. Video retrieval - keywords • Key word search berbasi subtitles • Live demo: http://km.doc.ic.ac.uk/vse/

  9. Content Based Retrieval System • Mendukung temu kembali pada data multimedia berbasiskan pada karakteristik media tersebut, contoh • Image : • Histogram warna • Tekstur • Bentuk • Obyek • Suara • Pitch, timbre, loudness • duration

  10. Color Histogram

  11. Texture Feature Brodatz collection

  12. Kueri dalam CBR • Kueri berbasis contoh image • Cari seluruh image yang mirip dengan contoh image yang diberikan • Bandingkan vektor fitur (signature) yang diekstraksi dari contoh dengan vektor fitur dari image yang telah diekstrak dan diindeks dalam basis data

  13. Kueri dalam CBR • Kueri berbasis fitur secara spesifik • Spesifikasi atau sketsa fitur image seperti warna, tekstur, atau bentuk yang nanti diterjemahkan ke dalam vektor fitur

  14. http://cagle.slate.msn.com/news/napster/main.asp

  15. Sound retrieval by content • Musik yang sama berbeda instrumen • Bagaimana cara mencari melodi seperti berikut?

  16. Audio Search

  17. Context browser & playback

  18. Video Query Directed query

  19. Video Query

  20. Video Query • Query By Video Example

  21. Relevance Feedback

  22. Image Retrieval • Semantic Similarity

  23. Image Retrieval • Semantic Similarity

  24. Image Retrieval • Similarity of colors

  25. Image Retrieval • Shift-Invariant

  26. Image Retrieval • content-based

  27. System Overview

  28. System overview

  29. Design Issues of Image Retrieval • Retrieval specification • query • browsing • Feature extraction • Similarity measures • Access methods of Image Retrieval

  30. Design Issues of Video Retrieval • Retrieval specification • video browsing • video query • Video Parsing • Feature extraction • Similarity measures

  31. Video Browsing • Hierarchical video browsing

  32. Story-Based Video Browsing

  33. Scene Change Detection • Detected by frame sizes of motion JPEG

  34. Multidimensional Analysis of Multimedia Data • Kubus data Multimedia • Desain dan konstruksi mirip dengan kubus data tradisional dari data relasional • Mengandung dimensi & ukuran tambahan untuk informasi multimedia, seperti warna, tekstur, bentuk

  35. Multidimensional Analysis of Multimedia Data • Basis datanya tidak menyimpan image, tapi menyimpan deskriptornya • Feature descriptor: seset vektor untuk tiap karakteristik visual • Color vector: mengandung color histogram • MFC (Most Frequent Color) vector: five color centroids • MFO (Most Frequent Orientation) vector: five edge orientation centroids • Layout descriptor: mengandung color layout vector & edge layout vector

More Related