Eestikeelsete infodialoogide märgendamise usaldusväärsuse hindamine

1. Eestikeelsete infodialoogide märgendamise usaldusväärsuse hindamine Evely Vutt

2. 63 a22 infotelefon V: ´Estmar=´info, ´Leenu=kuuleb tere H: ee tervist. ega ´teie ei oska kogemata öelda Tallinna ´busside aegu. (0.5) V: ja ´milliseid busse. (.) H: ee (.) noh millal lähevad ´viimased ´kiirbussid täna ´Tallinna. (.) V: kell=´öheksa on viimane ekspress. H: kell=´öheksa. ja ´enne seda V: pool öheksa. (.) H: pool öheksa ja öheksa. V: jah. H: aitäh? V: palun

3. 233 (3) telefonikõne reisibüroosse V: ´Saar=Reisid, tere? H: ee $ vabandust, mul katkes enne kõne ´ära. $ (.) V: jaa? H: ee ma tahtsin ´küsida: ´lõunamaa ´reiside kohta=et=kas=teil ´neid praegu on=näiteks. V: õõ praegu läheb meil kakskend=üks jaanuar läheb E´giptus. (0.5) H: ahah, (.) aga: (.) , mida=see=näiteks ´sisaldab endas. V: ee see ´sisaldab nüüd niimo di et, > kas on järsku võimalik saata teile lähemalt seda < (.) reisiprog´rammi. ütleme: kas ´iimeiliga või, (0.5) või=sis ´faksiga? H: tändab=ei=´ole , ma=mõtsin=ma küsin ´üldiselt et=siis=ma: pärast ´mõtlen kuhu=ma üldse ´lähen [et] erinevate ´reiside kohta.= V: [{mh}] V: =tändab ´kolmteist päeva=et, kakskend=üks=jaanuar ta ´läheb=ja ´teine=jaan- ee ´veebruar ta=tuleb ´tagasi . ------

4. (kutsung)) | KUTSUNG | V: Toivo=reisid | KUTSUNGI VASTUVÕTMINE | | ESITLUS | =tere | TERVITUS | H: .hh tere? | VASTUTERVITUS | (.) .hh ee ma ´sooviksin natuke informatsiooni selle ´Lapimaa reisi kohta. | SOOV | V: jaa? | JÄTKAJA | (1.0) H: [.hh et=õ] | MUU | V: [millise]=mis ´kuupäeva kohta. | VASTUSE TINGIMUSTE TÄPSUSTAMINE | | AVATUD KÜSIMUS | (0.5) H: ee milliseid teil ´pakkuda on. | VASTUSE TINGIMUSTE TÄPSUSTAMINE | | AVATUD KÜSIMUS | V: $ e:i ´pakkuda ei ole meil ´ammu enam midagi. $ | PARANDUSE LÄBIVIIMINE | | AVATUD VASTUS: INFO PUUDUMINE |

5. Krippendorff väidab, et on kolm erinevat usaldusväärsuse testi koos suureneva usaldusväärsusega: • stabiilsus (stability), • jäljendatavus e. reprodutseeritavus (reproducibility), • täpsus (accuracy). • (Reliability of Coding Schemes – www.cogsci.ed.ac.uk/~jeanc/maptask-coding-html)

6. κ – väärtuse arvutamiseks kasutatakse järgnevat valemit: P(A) - tegelike nõustumiste osakaal (observed agreement) P(E) - juhuse läbi võimalike nõustumiste osakaal (chance agreement)

7. κ üldistus  arvutatakse järgnevalt: DO on tegelike mittenõustumiste osakaal (observed disagreement) DE on juhuse läbi võimalike mittenõustumiste osakaal (expected disagreement)

8. Land ja Koch’i biomeetria κ<0 "kehv nõusolek” 0-0,2 "väike” 0,21-0,4 "õiglane” 0,41-0,6 "mõõdukas” 0,61-0,8 "märkimisväärne" 0,8-1 ideaali lähedane.

9. Akti piiride usaldusväärsus infotelefoni dialoogides paarikaupa nõusoleku protsent 91 % (N=149) reisibüroodialoogides paarikaupa nõusoleku protsent 88 % (N=771)

10. Aktide klassifitseerimise usaldusväärsus kogu skeemi infotelefoni dialoogides reisibüroodialoogides

12. Sagedamini esinevad aktid

14. Sagedamini esinevate aktide usaldusväärsused infotelefoni dialoogides ESITLUS TERVITUS TÄNAN PALUN DIREKTIIVI TÄITMINE: INFO ANDMINE KUTSUNGI VASTUVÕTMINE VASTUTERVITUS

15. Sagedamini esinevate aktide usaldusväärsused reisibüroodialoogides JÄTKAJA VASTUVÕTUTEADE AVATUD VASTUS: INFO ANDMINE INFOLISA: TÄPSUSTAMINE AVATUD KÜSIMUS NÕUSTUV JAH

16. Aktide määramise täpsus infotelefoni dialoogides reisibüroodialoogides

17. Võrdlus tuntumate skeemide κ - väärtustega MAPTASK (inglise) = 0,83 VERBMOBIL (saksa)  = 0,84 SWBD-DAMSL (USA)0,8<<0,84

18. Küsimuste definitsioonid SULETUD KAS-KÜSIMUS S soovib teada, kas p S arvab, et H teab, kas p (Tulemusena oodatakse jah/ei vastust)

19. JUTUSTAV KAS-KÜSIMUS S soovib teada, kas p S arvab, et H teab, kas p S soovib teada, millised X elemendid rahuldavad p S arvab, et H teab, millised X elemendid rahuldavad p S arvab, et eksisteerib X element, mis rahuldab p (Tulemusena ei oodata jah/ei vastust, vaid mingit konkreetset infot) ALTERNATIIVKÜSIMUS S soovib teada, kas X1 või X2 või … või Xn rahuldab p S arvab, et H teab, milline X1 või X2 või … või Xn rahuldab p S arvab, et kas X1 või X2 või … või Xn rahuldab p (Tulemusena valitakse üks etteantud valikute seast)

20. AVATUD KÜSIMUS S soovib teada, millised X elemendid rahuldavad p S arvab, et H teab, millised X elemendid rahuldavad p S arvab, et eksisteerib X element, mis rahuldab p (Tulemusena saadakse täpsemat info küsitu kohta)

21. VASTUST PAKKUV KÜSIMUS (a) S soovib teada, kas p S arvab, et H teab, kas p S arvab, et p (b) S soovib teada, kas p S arvab, et H teab, kas p S arvab, et p S arvab, et H teab, et p (positiivse kontrolliga) (c) S soovib teada, kas p S arvab, et H teab, kas p S arvab, et p S arvab, et H teab, et mitte-p (negatiivse kontrolliga)

22. TÄPSUSTAV KÜSIMUS S teab, et p S soovib teada, millised X elemendid rahuldavad veel p S esitab SULETUD KAS-KÜSIMUSE või JUTUSTAVA KAS-KÜSIMUSE või ALTERNATIIVKÜSIMUSE või AVATUD KÜSIMUSE või VASTUST PAKKUVA KÜSIMUSE

23. Kasutatud kirjandus Jean Carletta. Reliability of Coding Schemes - http://www.cogsci.ed.as.uk/~jeanc/maptask-coding-html Harri Bunt. Dynamic Interpretation and Dialogue Theory. //The Structure of Multimodal Dialogue II. Ed. By M. M. Taylor, F. Neel and D. G. Bouwhuis. John Benjamins Publishing Company, Phiadelphia/Amsterdam, 1999, pp. 139-166 Laila Dybkjœr. MATE Deliverable D6.2. Final Report. 2000. - http://mate.nis.sdu.dk/about/deliverables

24. 1) Rituaalid Tervitamine TERVITUS VASTUTERVITUS Hüvastijätmine HÜVASTIJÄTT VASTUHÜVASTIJÄTT Soovimine SOOVIMINE TÄNAMINE Kuidas elad KUIDAS ELAD VASTUS Tänamine TÄNAN PALUN Palumine PALUN TÄNAN Vabandamine VABANDUS VABANDUSE VASTUVÕTMINE Tutvustamine ESITLUS VASTUESITLUS ÄRATUNDMINE TUTVUSTUS JAH Kontakti loomine -Kontakti algatus MUL ON PROBLEEM TÄHELEPANU PÜÜDMINE KUTSUMINE KONTAKTEERUMINE -Vastuskontakt POSITIIVNE KONTAKT NEGATIIVNE KONTAKT KONTAKTI EDASILÜKKAMINE Kutsesignaal KUTSUNG KUTSUNGI VASTUVÕTMINE Lõpetamine LÕPUSIGNAAL -Vastussignaal LÕPETAMISE VASTUVÕTMINE LÕPETAMISE TAGASILÜKKAMINE Lõpu pakkumine LÕPU PAKKUMISE SIGNAAL -Vastuvõtu signaal LÕPU PAKKUMISE VASTUVÕTMINE LÕPU PAKKUMISE TAGASILÜKKAMINE RITUAAL: MUU

25. 2) Teema ümberstruktureerimine Teema vahetamine TEEMA VAHETUSE PAKKUMINE Reaktsioon pakkumisele VAHETUSE PAKKUMISE VASTUVÕTMINE VAHETUSE PAKKUMISE TAGASILÜKKAMINE ÜMBERSTRUKTUREERIMINE: MUU 3) Vooruvahetus JÄTKAJA Kontakti kontrollimine KONTAKTI KONTROLL KONTAKTI KINNITAMINE VOORUVAHETUS: MUU 4) Parandamine Paranduse algatus ÜMBERSÕNASTAMINE ÜLEKÜSIMINE VASTUSE TINGIMUSTE TÄPSUSTAMINE MITTEMÕISTMINE PARANDUSE ALGATUS: MUU PARANDUSE LÄBIVIIMINE PARANDUSE HINDAMINE PARANDAMINE: MUU

26. 5) Direktiivid Esiliikmed KÄSK PALVE PALVE OODATA ETTEPANEK SOOV ÜLESKUTSE PAKKUMINE LUBAMINE KONTAKT TEODIREKTIIV DIREKTIIVI ESILIIGE: MUU Järelliikmed SOOVI ESITAMINE DIREKTIIVI TÄITMINE DIREKTIIVI TÄITMINE: INFO ANDMINE DIREKTIIVI TÄITMINE: INFO PUUDUMINE DIREKTIIVIST KEELDUMINE DIREKTIIVI VASTUSE EDASILÜKKAMINE DIREKTIIVI PIIRATUD TÄITMINE PIIRATUD NÕUSTUMINE DIREKTIIVIGA DIREKTIIVI JÄRELLIIGE: MUU 6) Küsimused Esiliikmed SULETUD KAS-KÜSIMUS JUTUSTAV KAS-KÜSIMUS ALTERNATIIVKÜSIMUS AVATUD KÜSIMUS VASTUST PAKKUV KÜSIMUS TÄPSUSTAV KÜSIMUS KÜSIMUSED ESILIIGE: MUU Järelliikmed NÕUSTUV JAH MITTENÕUSTUV EI NÕUSTUV EI MUU KAS-VASTUS ALTERNATIIVVASTUS: ÜKS ALTERNATIIVVASTUS: MÕLEMAD ALTERNATIIVVASTUS: KOLMAS VALIK ALTERNATIIVVASTUS: MUU ALTERNATIIVVASTUS: EITAV AVATUD VASTUS: INFO ANDMINE AVATUD VASTUS: INFO PUUDUMINE VASTUSE EDASILÜKKAMINE VASTUSEST KEELDUMINE VASTUS ALTERNATIIVINA KAHTLEV VASTUS KÜSIMUSED JÄRELLIIGE: MUU

27. 7) Seisukohavõtud Esiliikmed VÄIDE ARVAMUS HINNANG SEISUKOHAVÕTT AVALDUS SÜÜDISTUS ENESESÜÜDISTUS VÄLJAVABANDAMINE OLETUS SEISUKOHAVÕTU ESILIIGE: MUU Järelliikmed OMAKSVÕTMINE SAMAMEELSUSE OSUTAMINE MITTENÕUSTUMINE EMOTSIONAALNE NÕUSTUMINE RESERVATSIOONIGA NÕUSTUMINE RESERVATSIOONIGA ÄRAÜTLEMINE DISTANTSEERUMINE SEISUKOHAVÕTUST KEELDUMINE SEISUKOHAVÕTU JÄRELLIIGE: MUU 8) Muud aktid EELTEADE JUTUSTAMINE VASTUVÕTUTEADE INFO OSUTAMINE UUEKS INFO SUHTES SEISUKOHA MITTEVÕTMINE INFO ANDMINE KÜSIMATA MITTEVERBAALNE AKT LUBADUS INFOLISA: SELETAMINE INFOLISA: PÕHJENDAMINE INFOLISA: TÄPSUSTAMINE INFOLISA: KIRJELDAMINE INFOLISA: JÄRELDAMINE INFOLISA: KOKKUVÕTMINE INFOLISA: ÕIGUSTAMINE INFOLISA: ÜLERÕHUTAMINE INFOLISA: PEHMENDAMINE JUTU PIIRIDE OSUTAMINE SUMMEERIMISKORDUSED ENESEPARANDUS RETOORILINE KÜSIMUS RETOORILINE VASTUS REFERAAT MEMOREERIMISKORDUS PERFORMATIIV MUU MUUD: MUU PRAAK