1 / 21

Multimedia IR

Multimedia IR. “Image Retrieval” Shinta P. Multimedia IR. Menyimpan, memperoleh, memindahkan, memperlihatkan data yang kerakteristiknya beragam (teks, citra, suara, video). Arsitektur Multimedia IR tergantung pada: Karakteristik data multimedia Jenis operasi yang dilakukan. Query.

lan
Download Presentation

Multimedia IR

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Multimedia IR “Image Retrieval” Shinta P.

  2. Multimedia IR • Menyimpan, memperoleh, memindahkan, memperlihatkan data yang kerakteristiknya beragam (teks, citra, suara, video). • Arsitektur Multimedia IR tergantung pada: • Karakteristik data multimedia • Jenis operasi yang dilakukan

  3. Query • Query menentukan nilai atribut objek yang harus ada dengan hari perolehan: • Exact Match • Similarity • Jenis Query multimedia IR: • Text Spesifik • Query by Example

  4. Image Retrieval • Pendekatan Tradisional berbasis Teks • Penjelasan manual gambar ( Tagging manual, teks yang menyertai gambar) Bunga Teratai Bunga Hidup di Air <ungu>

  5. Kelemahan Pendekatan berbasis Teks • Kesulitan dalam pemberian tagging/ penjelasan manual • Volume database yang besar • Perbedaan persepsi manusia / subjektifitas • Query yang tidak dapat dinyatakan secara jelas dengan kata-kata berkenaand engan fitur citra.

  6. Image Retrieval • Pendekatan berbasis konten: • Query mendefinisikan fitur / konten citra • Query by Example • Sistem mengekstrak fitur citra pada query untuk dibandingkan dengan database

  7. Tantangan Pendekatan berbasis Konten • Adanya Gap antara fitur tingkat rendah dan pemahaman semantik user tingkat tinggi Apa Mau dicari?

  8. Ekstraksi Fitur • Fitur Utama • Warna • Tekstrur • Bentuk • Lokasi Spasial

  9. Seleksi Fitur • Relevance feedback (supervised learning) • Fuzzy approach

  10. Fitur Warna • Histogram Warna • perhitungan mudah • Tidak menyandikan informasi spasial • Tidak menyandikan pixel kesamaan warna

  11. QBIC – Search by color ** Images courtesy : Yong Rao

  12. Contoh: layout warna ** Image adapted from Smith and Chang : Single Color Extraction and Image Query

  13. Layout Warna • Perlu untuk Layout Warna  Fitur warna global memberikan terlalu banyak false positif. • Cara kerjanya: • Bagilah seluruh gambar menjadi sub-blok • Ekstraksi ciri dari masing-masing sub-blok • Bisakah kita melangkah lebih jauh? • Bagilah ke daerah berdasarkan konsentrasi fitur warnaProses ini disebut segmentasi.

  14. Fitur Tekstur Complex directional filter bank Gabor wavelet Steerable pyramid Contourlet transform S. Oraintara, T. T. Nguyen, “Using Phase and Magnitude Information of the Complex directional Filter Bank for Texture Image Retrieval”, Proc. IEEE Int. Conf. on Image Processing, vol. 4, pp. 61-64,Oct. 2007

  15. S. Oraintara, T. T. Nguyen, “Using Phase and Magnitude Information of the Complex directional Filter Bank for Texture Image Retrieval”, Proc. IEEE Int. Conf. on Image Processing, vol. 4, pp. 61-64,Oct. 2007

  16. Fitur Bentuk

  17. QBIC – Search by shape ** Images courtesy : Yong Rao

  18. Mengapa Image Retrieval Sulit? • Text Retrieval • Kata Adalah suatu unit, mudah diindex • Kata Memiliki arti semantik • Image Retrieval • Unit pberupa piksel, sulit diindex • Piksel tak memiliki arti • piksel membentuk pola representasi objek, kesulitan dalam segmentasi • Objek gambar tergantung banyak faktor

  19. Mengapa Image Retrieval Sulit? (Cont’) • Image Retrieval • Objek gambar tergantung banyak faktor • Sudut Pandang • Iluminasi • Bayangan • Dan komplikasi lainya (latar belakang, variasi warna, dll)

  20. Pencocokan Citra (Global Similarity) • Histogram Warna • Karakteristik Tekstur (region)

  21. Pencocokan Citra (Local Similarity) • Query By Example • Segmentasi Objek • Pencocokan • Caption Text • Similarity (warna, tekstur, bentuk) • Susunan Spatial (orientasi, posisi) • Teknik Khhusus (eg. Pengenalan Wajah)

More Related