1 / 25

Minimální poměr: Exaktní metrika pro kolokace, klíčová slova atd.

Minimální poměr: Exaktní metrika pro kolokace, klíčová slova atd. Jiří Milička Ústav s rovnávací jazykovědy FF UK. Úvod. Definice nejsou libovolné Systém klasifikován obvykle tak aby: A) konvenoval lidské mysli B) daly se dobře testovat hypotézy. Kvaternity.

salma
Download Presentation

Minimální poměr: Exaktní metrika pro kolokace, klíčová slova atd.

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Minimální poměr: Exaktní metrika pro kolokace, klíčová slova atd. Jiří Milička Ústav srovnávací jazykovědy FF UK

  2. Úvod • Definice nejsou libovolné • Systém klasifikován obvykle tak aby: A) konvenoval lidské mysli B) daly se dobře testovat hypotézy

  3. Kvaternity Tedy rozdělení podle dvou nezávislých distinktivních rysů

  4. V lingvistice • Oblíbenost „binárních opozic“ v PLKu se časově shoduje s X2 a s Fisherovým testem • Přesto Fisherův test v lingvistice příliš nezdomácněl

  5. Naivní interpretace: bysme je v mluveném jazyce běžnější než bychom, v psaném je tomu obráceně. – co když je to náhoda? • Statisticky testovatelná interpretace: pravděpodobnost, že příslušnost k těmto dvěma korpusům neovlivňuje distribuci bychom / bysme je menší než 0.00001 (podle Fisherova testu) • Co když nám to nestačí?

  6. Fisherův test a chí kvadrát nám nestačí i v mnoha jiných případech • Jak se vyskytuje slovo ona v levém bezprostředním okolí okolí slova je (SYN 2010) • Pravděpodobnost, že je tahle tabulka náhodná je také menší než 0,00001, což nám ale jenom řekne, že ta slova souvisí, ale neřekne nám to, jak moc • Proto je tolik (často ad hoc) metrik pro výpočet „kolokability“

  7. Fisherův test nám obzvlášť nepomůže, když budeme chtít porovnávat více hodnot – třeba kolokabilitu slova ona s kolokabilitou slova on • Bylo by to prostě porovnávání dvou velmi malých čísel, které by nemělo praktický význam – nechci vědět, jak se liší pravděpodobnost, že nemám náhodná data, ale jak se liší distribuce s přihlédnutím k tomu, jestli ta data třeba nejsou náhodná.

  8. Poslední příklad: chci vědět, jak moc je slovo „river“ frekventovanější v románu The last ofthemohicans než v románu TheDeerslayer • p<0,0001 (Fishersexact test) – dobře je to disproporční. Ale jak moc je to disproporční?

  9. Změřeno na milionu náhodně permutovaných multimnožin odpovídajících spojení textů Posledního Mohikána a Lovce jelenů Není všechno normální distribuce, co má zvonovitou křivku.

  10. Model N1….. Celkový počet tokenů v textu 1 f1…… absolutní frekvence daného typu v textu 1

  11. Confidence interval • Konfidenční interval (na určité hladině splehlivostiα) • Nakousla Karolína na minulém Žďárku • Definice: “a confidence interval is an interval in which a measurement or trial falls corresponding to a given probability” (Mathworld) Pro představu:

  12. Confidencelevelα = 95 %

  13. Horní limit (UL) a dolní limit (LL) konfidenčního intervalu na hladině α. • Minimal Ratio (MR): Když spadne naměřená hodnota mezi dolní a horní limit, tak nemůžeme říct, že se liší od předpokládané. Když spadne do intervalu nad horní limit, tak ji budeme porovnávat s horním limitem, když pod spodní limit, tak ji budeme porovnávat s dolním limitem

  14. Vraťme se ke slovu „river“, které má v Posledním Mohikánovi frekvenci 53 a tedy spadá nad horní mez konfidenčního intervalu (44) – nám dokonce spadl mimo graf

  15. Minimální poměr tedy vypočítáme tak, že naměřenou hodnotu podělíme horním limitem konfidenčního intervalu MR(95 %)=53/44=1,204545

  16. Přesná definice horního limitu UL(α)

  17. Přesná definice dolního limitu LL(α)

  18. Přesná definice minimálního poměru MR(α)

  19. Praktická ukázka (keywords) The Last oftheMohicans versus TheDeerslayer

  20. Alice's Adventures in Wonderland versus The Last oftheMohicans

  21. Vyjde v CzechandSlovakLinguisticReview: Minimal Ratio: AnExactMetricforKeywords, Collocationsetc.

  22. Další literatura • Barnard, G. A. (1947). Significance Tests for 2×2 Tables. Biometrika 34 (1/2)pp. 123–138. • Fisher, R. A. (1922). On the Interpretation of χ2 from Contingency Tables, and the Calculation of P. Journal of the Royal Statistical Society, pp. 87–94. • Milička, J. (2009). Type-token & Hapax-token Relation: A Combinatorial Model. Glottotheory. International Journal of Theoretical Linguistics 2/1pp. 99–110. • Oakes, M. P. (1998). Statistics for CorpusLinguistics. Edinburgh: Edinburgh University Press. • Weisstein, E. W. (2012). Confidence Interval. [online] .Cit 2012-10-28. MathWorld – A Wolfram Web. Resource: http://mathworld.wolfram.com/ConfidenceInterval.html • Yates, F. (1984). Tests of Significance for 2 × 2 Contingency Tables. Journal of the Royal Statistical Society. Series A (General) , pp. 426–463.

  23. Děkuji za pozornost!!!

More Related