1 / 18

Kuvahakustrategiat Stina Westman

Kuvahakustrategiat Stina Westman. (Kuva)haku. tiedonhaun tavoitteena löytää ja tallentaa yksi tai useampi kuva jatkokäyttöön esim. kuvitus, informaationvälitys löytää ja katsella kuvia esim. webissä haun toteutus kysely (usein tekstimuodossa)

eddy
Download Presentation

Kuvahakustrategiat Stina Westman

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Kuvahakustrategiat Stina Westman

  2. (Kuva)haku • tiedonhaun tavoitteena • löytää ja tallentaa yksi tai useampi kuva • jatkokäyttöön esim. kuvitus, informaationvälitys • löytää ja katsella kuvia esim. webissä • haun toteutus • kysely (usein tekstimuodossa) • hakutulosten järjestäminen (teksti-indeksin perusteella) • relevanssiarviot (tekstin pohjautuen) • käytettävät piirteet • kuvainformaatio (laskennalliset piirteet) • teksti: vapaa kuvaus, asiasanat, luokka,...

  3. Hakustrategiat • hakustrategia = suunnitelma koko hakusessiota varten, rakentuu taktiikoista • taktiikka = liike haun edistämiseksi (voi kohdistua kyselyyn, kokoelman tiedostorakenteeseen tai tehtävän monitorointiin) • hakupolku = hakusessiossa toteutettu sarja taktiikoita Hungin (2005) koodaamat taktiikat (alijoukko 39:stä taktiikasta)

  4. Kuvahakuja Westman&Oittinen (2006) Mitä haluttaisiin hakea nuori reppu selässä viinan lumoissa Tepon kuvia paljon ihmisiä John Lennonin lapset roskienpolttoa Jörgensen&Jörgensen (2005) ”Kerro tarkalleen mitä haluat” (asian family) and asian and businesswomen and bike and mountain and family ”Kerro mitä et halua” dog and not cat and not outdoors and not ball and not big and not children and not child and not petting

  5. Kuvaluokat symbolikuvia; ilmiökuvat; ihminen ja työ; kuvituskuvat; suomalaisuus; ulkomaat; ylpeät ammattilaiset; tunnistettavat ihmiset joilla joku tilanne päällä; matkailureportaasikuvat; eu-kansalaisen muotokuva; reportaasikuva; ihminen ja ympäristö nykyajan hyvinvointiyhteiskunta; tunteisiin vetoavat kuvat; julisteeseen sopivat kuvat, kuva "rakennettu" tai muuten kikkailtu; yksinäisyyden tuska; poliittisia kuvia; rajattu esineeseen tai kohteeseen siten että paikka ja ympäristö eivät selviä; yksittäiset ihmiset; kuvat joissa useampi ihminen/ihmisryhmiä; lippu ja kaksi henkilöä sen takana; lippu, kansallistunne; ihmiset, muutakin kuin ihminen kuvassa; ulkomaan politiikan historian havinaa; kuvia naisista/punertavaa väriä; EU; taidekuvia/taiteellisia kuvia; eu-lippu ja itä-euroopan ihminen; abstrakti kuva; taidekuvia joita käsitelty

  6. Mitä kuvahakustrategioista tiedetään • hakulausekkeet lyhyempiä kuin tekstitiedonhaussa • tyypillisesti aloitetaan yhdellä termillä, keskiarvo ≈ 2 • selailu keskeistä • n.85% hakusessioista, n.50-65% taktiikoista • selaillaan 30-500 kuvaa, jopa kaikki • tärkeää ja yleistä etenkin lopullisessa kuvanvalinnassa • tunnistettavissa toistuvia polkuja • tekstihaku-selailu-selailu-suurennos-valinta • haku-selailu-haun muokkaus • selailu-kuvatekstin luku-valinta • kuvia halutaan katsoa eri näkymissä (koko, tekstitiedot) • riippunevat hakutyypistä (spesifi/geneerinen/abstrakti)

  7. Haasteita • subjektiivisuus tulkinnassa • kuilut • tarpeiden ja sisältöpohjaisten algoritmien välillä • tarpeiden ja kuvailusanastojen välillä • visuaalisen informaation erityispiirteet • modaliteettien yhdistäminen mahdollisimman tehokkaasti • miten tukea kuvahakijaa haun eri vaiheissa • kyselyn formulointi • tulosten selailu • kuvanvalinta

  8. relevanssijärjestyksessä klusteroituna

  9. Tulosten visualisointi MDS/PCA/Fastmap/PicSOM

  10. Työtila (Urban 2006)

  11. Kuvahaun tukeminen • helppokäyttöisyys (vapaatekstihaku) • selailtavuus (sisältöpohjaiset algoritmit) • tulosten jatkuva järjestys visuaalisten ominaisuuksien mukaan (väri, tekstuuri, muoto, laatu) • tulosten klusterointi haun ohjaamiseksi (teksti/visuaaliset) • hallinta (työtilasovellukset) • valittavien kuvien vertailu ja tarkastelu • yhdistettyjen hakujen teko • tietoisuus kuvahaun kontekstista • adaptoituva haku/suosittelu (kuvahakustrategiat) • toiminnallisuuksien suosittelu ennustettujen hakupolkujen perusteella

  12. Tutkimuksen kohteena • mitkä tekijät vaikuttavat valittuihin hakustrategioihin • kuvasisältö/luokka • hakutehtävä (annettu informaatio, tarpeen tyyppi) • käyttöliittymän toiminnallisuudet • kontekstuaaliset tekijät (esim. asiantuntemus) • hakupolkujen analyysi • hakuloki • Markovin mallit • Maximal repeating patterns • silmänliikedata • huomion kohdistuminen kuvasisältöön ja käyttöliittymään • tavoite: tukea kuvahakua visualisoinnein ja toiminnallisuuksin

  13. Lähteet • Hung, T-Y. (2005) Search Moves and Tactics for Image Retrieval in the Field of Journalism: A Pilot Study. Journal of Educational Media and Library Sciences, 42, pp 329-346. • Jörgensen, C., Jörgensen, P. (2005) Image querying by image professionals. Journal of the American Society of Information Science and Technology, 56, pp 1346--1359. • Nakazato, M., Manola, L., and Huang, T. S. (2002) ImageGrouper: Search, Annotate and Organize Images by Groups. In S. Chang, Z. Chen, and S. Lee (eds.) Proceedings of the 5th international Conference on Recent Advances in Visual information Systems. Lecture Notes In Computer Science, vol. 2314. Springer-Verlag, London, 129-142 • Urban, J. (2007) An Adaptive Approach for Image Organisation and Retrieval. Doctoral Dissertation, Department of Computing Science, University of Glasgow, Glasgow, United Kingdom. • Westman, S., Oittinen, P. (2006) Image Retrieval by End-Users and Intermediaries in a Journalistic Work Context. Proceedings of the first IIiX Symposium on Information Interaction in Context. Royal School of Library and Information Science, pp. 169-187.

  14. Kuvaluokkien tasot

  15. Funktio kuvituskuvat mainoskuvat tuotekuvat uutiskuvat reportaasikuvat henkilöjutun kuvitus loma-/turistikuvat Henkilökuvat ”henkilö/ihminen” ryhmät/joukot suhde poseeraus muotokuvat ikäluokka sukupuoli social status (ammatti, tunnettuus jne.) ilme Objektitaso elottomat objektit/esineet luonto-objektit Objektit jatkuu eläimet rakennukset kulkuvälineet Näkymätaso interiöörit maisemat luonto kaupunki muu paikka/ympäristö Teemat tekniikka/teknologia teollisuus liikenne/autoilu ruoka/juoma matkailu muoti arkkitehtuuri/sisustus taide/kulttuuri musiikki urheilu elokuva/teatteri politiikka Luokkajako • Teemat jatkuu • työ/työelämä/ammatti • harrastukset/vapaa-aika • uskonto • koti/perhe • talous • muu teema • Muut • symbolit • kuvan tunnelma/emootiot • ominaisuus/vaikutelma • aika • toiminta • tapahtumat/tilanteet • väri • valokuvaustekniset • kuvakoko • visuaaliset • katsekontakti • etäisyys kameraan • lukumäärä

  16. Kuvahakuprosessi

  17. Query-by-group (Nakazato et al 2002)

  18. Kuvien asiasanoitus sarvikuono poikanen jättiläinen vauva eksoottinen virtahepo poikanen vedessä lähekkäin lähikuva sarvikuono äiti/emo sieraimet limpopo huolenpito virtahevot äidinrakkaus vetisyys suukko nahka vesi vesipuhveli emo poikanen pää (36 eri termiä) virtahevot emo poikanen uiminen huolenpito ruskea muta pentu ihra pieni virtahepo äiti turva punainen sierain virtahepo emo poikanen vesi kylpeä hippo virtahepo poikanen äitiys huolenpito

More Related