1 / 27

Little Google Game: experimenty

Slovak University of Technology in Bratislava, Faculty of Informatics and Information T echnologies, Institute of Informatics and Software Engineering. Little Google Game: experimenty. Jakub Šimko jsimko@fiit.stuba.sk 26.11.2010. Little Google Game: Tvorba siete pojmov.

fathia
Download Presentation

Little Google Game: experimenty

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Slovak University of Technology in Bratislava, Faculty of Informatics and Information Technologies, Institute of Informatics and Software Engineering Little Google Game: experimenty JakubŠimko jsimko@fiit.stuba.sk 26.11.2010

  2. LittleGoogle Game:Tvorba siete pojmov • „sea“ (2 mld. výsledkov) • „sea –ocean –fish –deep“ (400 mil. výsledkov) • Pri zhode viacerých hráčov na dvojici zadaného a negatívneho pojmu, vytvoríme orientovanú hranu

  3. AspektyLGG,ktoré bolo treba preveriť • Správnosť siete ktorú LGG produkuje • Skupina hodnotiteľov • Zisťovanie „objektívnej skutočnosti“ • Atraktívnosť hry • Skupina hodnotiteľov • Zisťovanie subjektívneho názoru • Význam hry z pohľadu počtu prepojení nezistiteľných automaticky. • Laboratórne experimenty, porovnanie voči iným metódam

  4. Pravdivosť prepojení v sieti (Dotazník pre hľadanie objektívnej pravdy)

  5. Pravdivosť prepojení v sieti • Ohodnotenie správnosti prepojení v sieti pojmov LGG • Každý z 18tich participantov hodnotil 20 dvojíc pojmov • 12 dvojíc pojmov zo siete • 8 náhodne vytvorených • Hypotéza bola, že žiadna z dvojíc zo siete nebude označená za nesprávnu

  6. Úloha • „Označte mohutnosť (kombináciu slov) podľa toho, či podľa vás pojem vpravo súvisí s pojmom vľavo (pre lepšiu predstavu: zaradili by ste pojem vpravo medzi 10 najrelevantnejších pojmov k pojmu vľavo)?“

  7. Výsledok • 90,90 % vzťahov zo siete bolo označených za správnych • Takto sme však získali iba „precision“ • Tento údaj totiž nehovorí nič o tom či sú v sieti všetky relevantné prepojenia • V budúcnosti bude potrebné nechať účastníkov vytvoriť referenčnú sieť (náročnejšie ich na počet a úsilie) • Nutný vačší rozsah experimentu

  8. Atraktívnosť hry (Dotazník pre zber subjektívnych pohľadov)

  9. Atraktívnosť hry – dotazník • Atraktívnosť hry s účelom podstatne ovplyvňuje jej záber • Noc výskumníka – showcase • Pýtali sme sa na • Porozumenie hre a jej účelu • Ako sa hráčom hra páčila • Virálny potenciál • Či účel hry nejakým spôsobom presviedča hrať

  10. Odpovede (34 účastníkov)

  11. Odpovede (34 účastníkov)

  12. Dotazník – postrehy • Výhodné je mapovať dotazník na používateľa aplikácie (prácnejšie) • Menej otázok = väčšia ochota • Používajte predvolené odpovede, dajte ale možnosť voľného textu (v našom prípade prakticky nevyužitá) • Otázky formulujte čo najjednoduchšie

  13. Dotazník – postrehy • Pýtajte sa nepriamo, zvýšite šancu na pravdivú odpoveď • Poisťovať sa môžete položením rovnakej, no inak naformulovanej otázky • Nechajte participantov pokojne vypĺňať samotných • Vzbuďte dôveru, odmeňte účasť

  14. Skryté prepojenia (Laboratórny experiment, štatistické vyhodnotenie porovnávaním rôznych metód)

  15. Význam LGG: Skryté prepojenia • Hráči občas zadávajú negatívne termy, ktoré im v hre nepomôžu. Používajú ich však preto, lebo si mysleli že by im pomôcť mali.

  16. Spoločný výskyt pojmov – prienik množín výsledkov

  17. Predpoklad • Hodnoty p budú vysoké pre pojmy často sa vyskytujúce spoločne na webe

  18. Distribúcia p pre sieť pojmov

  19. Referenčné hodnoty - šum • Aby sme mali s čím predchádzajúcu distribúciu porovnať, potrebujeme poznať distribúciu p pre náhodné (nezmyselné) prepojenia pojmov • Situáciu tu komplikuje korpus z ktorého vyberáme – u všeobecných (častejšie používaných) slov bude šum väčší

  20. Šum pre rôzne veľkosti sád pojmov

  21. Porovnaniedistribúciíp pre sieť pojmov a pre šum

  22. Porovnaniedistribúciíp pre sieť pojmov a pre šum • Až 40% prepojení v sieti je pod hranicou šumu

  23. Wikipedia Miner Experiment • Podobnosť konceptov podľapočtu prepojení vo Wikipédii v % • http://wdm.cs.waikato.ac.nz:8080/ • Určovali sme distribúciu pre sieť LGG aj pre náhodné prepojenia

  24. Distribúcia WikipediaMiner podobností pre sieť LGG

  25. Šum – Wikipediaminer Počet prepojení ktoré nebolo možné ohodnotiť: 8 (Corpus 800), 27 (Corpus 5000), 108 (Corpus 50000)

  26. WikipediaMiner – uzávery • Veľké skreslenie • Neexistujúce heslá vo Wikipédii • Problémy s homonymami (Wikiminer nerobí disambiguation) • Nevieme na základe toho určiť podiel skrytých prepojení v našej sieti • Všeobecne však možno povedať, že precisionWikipediamineru je vysoká

  27. That’s all folks • Ako čo najlepšie overiť správnosť prepojení v sieti LGG? • Máme prepojenia herných záznamov hráčov na výsledky dotazníku o atraktivite hry • Nápady čo sa z toho dá vydolovať? • Ako inak overiť podiel skrytých prepojení? • Ako upraviť metódu WikipediaMiner?

More Related