420 likes | 706 Views
Kuidas leida a) midagi, b) seda, mida “ otsisid ”, ja c) seda , mida tegelikult soovisid leida. Jaak Vilo. Otsi midagi. Dokumendid milles esineb sõna, sõnad, fraas, …. Aga …. Milline neist kõigist oli otsija jaoks oluline? Otsisõna(de) olulisus/roll dokumendis endas
E N D
Kuidas leida a) midagi, b) seda, mida “otsisid”, ja c) seda, mida tegelikult soovisid leida Jaak Vilo
Otsi midagi • Dokumendid milles esineb sõna, sõnad, fraas, …
Aga … • Milline neist kõigist oli otsija jaoks oluline? • Otsisõna(de) olulisus/roll dokumendis endas • Dokumendi “usaldusväärsus”, hüperlingid, … • Valdkond? (Otsid mida?) Isik? Koht? Sõna mõnes keeles, käändes/pöördes?
Information Retrieval • Info otsimine. • Suurem osa tänapäeva infost on teksti kujul dokumentides • Nõela otsimine heinakuhjast • Tugeva magnetiga lihtne! • Kas leidub vastavat “magnetit” iga võimaliku päringu jaoks?
Kasutaja jaoks • Kuidas lihtsalt ja täpselt esitada oma päring • Kuidas täpsustada päringut • Kõrgem loogika: • Kus on homme odavaim tume õlu? • Millised maksureeglid kehtisid 5 aastat tagasi?
Kuidas toimib? <au>Luts</au> <ti>Kevade</ti> Kui Arno … Jää kevade saabumiseni Luts sigib talvel jää all Kevadel sulab jää kevad suvi sügis talv Pöördindeks arno 1:4 luts 1:1:au 3:1 … kevade 1:2:ti 2:3 kevadel 4:1 kevad 5:1 jää 1:X 2:1 3:4 4:3 …
Kuidas toimib? <au>Luts</au> <ti>Kevade</ti> Kui Arno … Jää kestab kevade saabumiseni Luts sigib talvel jää all Kevadel sulab jää kevad suvi sügis talv Pöördindeks arno 1:4 luts 1:1:au 3:1 … kevade 1:2:ti 2:3 kevadel 4:1 kevad 5:1 jää 1:X 2:1 3:4 4:3 …
Kuidas toimib? <au>Luts</au> <ti>Kevade</ti> Kui Arno … Jää kestab kevade saabumiseni Luts sigib talvel jää all Kevadel sulab jää kevad suvi sügis talv Pöördindeks arno 1:4 luts 1:1:au 3:1 … kevade 1:2:ti 2:3 kevadel 4:1 kevad 5:1 jää 1:X 2:1 3:4 4:3 … 1:X 2:1 3:4 4:3 … 1:2:ti 2:3 … 2 , 1 , … Jää +kevade
Spetsiifilised andmebaasid • Teatmeteosed/sõnastikud • Seadused • Uudised • Sporditulemused • Intranetid • …
Sõnastikud: neli otsirežiimi hotell
Mobiili otsing • Väike ekraan • Vastused – minilehekülgedena • Inimesed • Kohad • Uudised • … • Lahendus: eelnevad minikokkuvõtted lehtedest
Tagasi IR juurde • Milline oli sõna tema algkontekstis? • Mitmeti mõistetavused • Suur- ja väiketähed, numbrid, aeg, … • Käänded/pöörded; täpitähed, susisevad, kirjavead… • Mis on oluline? • Sõnade omavaheline lähedus, fraas • Pealkiri, autor, avaldaja, kinnitaja, kehtivus … • Välised viited?
Täpne ja ligikaudne otsimine • Täpitähed • Aga kas meie oskame teistes keeltes? • ¨ ~ ´ ` \ _ c • Susisevad – seniajani ei saa alati nende sisestamise või näitamisega hakkama • Algoritmid, näiteks: • Dush, dušš, dushsh ? • Gorbatšov, Gorbatshov, Горбачов, Gorbachev • režiim, rezhiim, riim ^
Keeletehnoloogia • Morfoloogia • Süntaks • Info-otsingud • Semantika • Dialoog • Kõnetuvastus • Kõnesüntees • Masintõlge
Eesti keele keeletehnoloogiline tugi Riiklik programm: “Eesti keele keeletehnoloogiline tugi (2006–2010)” peaeesmärgiks on eesti keele keeletehnoloogilise toe arendamine tasemele, mis võimaldab eesti keelel edukalt toimida tänapäeva infotehnoloogilises keskkonnas
Peamised ootused • Masintõlge • Kõnesüntees (tekst heliks) • Kõnetuvastus (heli tekstiks) • Keelekorrektuur • Info-otsingud (IR, mitmekeelne) • Dialoog
Peamised valdkonnad • Keeletehnoloogia (2/3) • Meetodid, programmid • Abiressursid (n. korpused) (1/3) • Kirjaliku ja suulise keele jaoks • Ca 7.5M krooni, ligi 20 rühma • Infrastruktuur (lisandub tulevikus) • Arvutid ja tarkvara
Tüüpiline kasutaja • Sõnad • Fraasid • Sageli aitab, aga see pole alati piisav! • Paraku on see sageli maksimum mida otsimootorid suudavad • Võiks eksperimenteerida palju rohkem
Info-otsingud Eestis • Panustus on hetkel veidi hajutatud ja nõrk • Potentsiaal on olemas • Vaja arendada lihtsaid päringukeeli ja seda toetavaid algoritme • Lihtsa asja välja mõtlemine ja realiseerimine on aga sageli väga raske
Kellele? • Kes oleks tellija? Ja millele oleks tellimus? • Meetodile? • Programmidele? • Teenustele? • Andmed ei eksisteeri alati ühes kohas • Andmetel omanik; infomonopol? • Kas saaks arendada super-intelligentse kogu infot kajastava andmebaasi?
Andmed: • Milline info on kättesaadav, kui hästi formaliseeritult • Milline roll on meta-andmetel informatsiooni ja dokumentide kohta? • Vabas vormis esitatud küsimused • Kuidas saab homme hommikul mustamäelt otepääle? • Millal algab maksuteatiste vastuvõtt?
Kokkuvõte • Teha päring ja saada mingi vastus, on lihtne • Teha päring ja saada täpne vastus, on võimalik (kuid kas sa oskasid sõnastada oma päringu selliselt nagu tegelikult vaja?) • Leida seda mida tegelikult vajad, on raske – võib-olla pole selleks isegi veel vahendeid ega andmeid, et nii täpseid päringuid esitada, lihtsalt