1 / 10

Experiment álne overenie Automatic Query Expansion

Experiment álne overenie Automatic Query Expansion. Tomáš Kramár. Automatic Query Expansion ?. uľahčenie vyhľadávania leopard → leopard console. Motivácia. Aký vplyv má AQE na zlepšenie výsledkov vyhľadávania? Ako vnímajú AQE používatelia?

kolya
Download Presentation

Experiment álne overenie Automatic Query Expansion

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Experimentálne overenieAutomatic Query Expansion Tomáš Kramár

  2. Automatic Query Expansion? • uľahčenie vyhľadávania • leopard → leopard console

  3. Motivácia Aký vplyv má AQE na zlepšenie výsledkov vyhľadávania? Ako vnímajú AQE používatelia? Nemeth, Y., Shapira, B., and Taeib-Maimon, M. 2004. Evaluation of the real and perceived value of automatic and interactive query expansion. In Proceedings of the 27th Annual international ACM SIGIR Conference on Research and Development in information Retrieval (Sheffield, United Kingdom, July 25 - 29, 2004). SIGIR '04. ACM, New York, NY, 526-527. DOI= http://doi.acm.org/10.1145/1008992.1009103

  4. Priebeh experimentu • 72 dobrovoľníkov, študentov • vlastný vyhľadávač používajúci AQE v módoch • none • auto, semi • none+, auto+, semi+ • riešenie úloh v náhodne zvolenom móde • vypĺňanie dotazníkov

  5. 8 Úloh - ukážka • You are traveling from the Netherlands, and want to bring some typical food products as giftsfor your friends. What are three kinds of food products from the Netherlands that you are notallowed to bring into the US? • You are interested in learning more about what measures the US government has taken since2001 to prevent Mad-Cow Disease. Identify three such measures.

  6. Objective performance • Expert evaluator • Počet interakcií s vyhľadávačom • 1-ANOVA, závislá premenná • priemerná známka • počet interakcií

  7. Subjective users opinions • Dotazník (škála 1-7) • How easy was it to perform thesearch? • Were you satisfied with the search results? • 1-ANOVA, závislá premenná - hodnotenie

  8. Users attitude towards IQE • Dotazník (škála 1-7) • Were the expansion termshelpful in defining the query? • Would you like a termexpansionoption to be included in the search engine you use?

  9. Vyhodnotenie experimentu • AQE významne nezlepšilo výsledky vyhľadávania • z dotazníkov • používatelia chcú používať AQE, vnímajú ho ako užitočný nástroj (najmä IQE), napriek tomu že s jej použitím nedosahujú štatisticky lepšie výsledky

  10. Zhodnotenie • Pozitíva • Striedanie „módov“ pre jedného používateľa • Použitie úloh • Negatíva • Zle zvolené úlohy • Vlastný vyhľadávač – neznáme prostredie

More Related