Morfologická analýza Unifikační gramatiky

1. Počítačové zpracování přirozeného jazyka Morfologická analýzaUnifikační gramatiky Daniel Zeman http://ufal.mff.cuni.cz/course/popj1/

2. Unifikační gramatiky • Založeny na • bezkontextových gramatikách • strukturách rysů (feature structures) • jejich unifikovatelnosti • Struktura rysů • Něco jako záznam v databázi, naplněná proměnná typu record v pascalu nebo typu struct v céčku. Popis objektu, seznam rysů. • rysy (atributy, features) … jména polí, položek • hodnoty • Příklady dvojic rys – hodnota: [číslo: množné], [pád: 1]. http://ufal.mff.cuni.cz/course/popj1

3. Struktura rysů entita JMÉNO FF UK TELEFON 258562 POS substantivum GEN maskulinum NUM singulár CASE dativ entita JMÉNO Dan TELEFON 221914225 POS adjektivum GEN maskulinum NUM plurál CASE akuzativ DEG komparativ NEG afirmativ fakulta JMÉNO MFF UK DĚKAN Netuka TELEFON 221911111 http://ufal.mff.cuni.cz/course/popj1

4. Struktura rysů • Obecně: parciální funkce z množiny rysů do množiny hodnot. typ RYS1 HODNOTA1 RYS2 HODNOTA2 RYS3 HODNOTA3 http://ufal.mff.cuni.cz/course/popj1

5. 1 2 3 ROD mužský ČÍSLO jednotné PÁD dativ DRUH sloveso ČÍSLO jednotné ČAS přítomný ROD mužský ČÍSLO jednotné PÁD instrumentál Unifikovatelnost • Dvě struktury rysů jsou unifikovatelné, jestliže se shodují jejich hodnoty v těch rysech, které mají obě dvě. • Příklad: struktury 1 a 2 jsou unifikovatelné, 2 a 3 také, 1 a 3 nikoliv. http://ufal.mff.cuni.cz/course/popj1

6. 1 2 3 ROD mužský ČÍSLO jednotné PÁD dativ OSOBA třetí ČÍSLO jednotné ČAS přítomný ROD mužský ČÍSLO jednotné PÁD dativ OSOBA třetí ČAS přítomný Unifikace • Unifikace je operace na dvou unifikovatelných strukturách rysů, jejím výsledkem je nová struktura rysů. + = http://ufal.mff.cuni.cz/course/popj1

7. Morfologická syntéza pomocí unifikace • Vstup: struktury rysů „lemma“ a „značka“. • Najít ve slovníku všechny struktury „heslo“, které jsou unifikovatelné se strukturou „lemma“. • Pro každou nalezenou strukturu „heslo“ najít v seznamu vzorů strukturu „vzor“, která je současně unifikovatelná s ní i se vstupní strukturou „značka“. • Unifikací k sobě pasujících struktur „heslo“, „vzor“ a „značka“ vznikne struktura „tvar“. • Na výstupu je pro každou strukturu „tvar“ řetězec složený z hodnot jejích rysů „vzor“ a „koncovka“. http://ufal.mff.cuni.cz/course/popj1

8. Morfologická syntéza pomocí unifikace • Vstup: struktury rysů „lemma“ a „značka“. • Najít ve slovníku všechny struktury „heslo“, které jsou unifikovatelné se strukturou „lemma“. lemma LEMMA háček značka ČÍSLO množné PÁD nominativ heslo LEMMA háček VZOR hrad heslo LEMMA háček VZOR pán http://ufal.mff.cuni.cz/course/popj1

9. Morfologická syntéza pomocí unifikace • Pro každou nalezenou strukturu „heslo“ najít v seznamu vzorů strukturu „vzor“, která je současně unifikovatelná s ní i se vstupní strukturou „značka“. heslo LEMMA háček VZOR hrad heslo LEMMA háček VZOR pán vzor VZOR hrad ČÍSLO množné PÁD nominativ KONCOVKA y vzor VZOR pán ČÍSLO množné PÁD nominativ KONCOVKA i | ové http://ufal.mff.cuni.cz/course/popj1

10. Morfologická syntéza pomocí unifikace • Unifikací k sobě pasujících struktur „heslo“, „vzor“ a „značka“ vznikne struktura „tvar“. tvar LEMMA háček VZOR hrad | pán ČÍSLO množné PÁD nominativ KONCOVKA y | i | ové http://ufal.mff.cuni.cz/course/popj1

11. Morfologická syntéza pomocí unifikace: poznámky • Unifikace se podobá databázovým operacím. • Sama neříká, jak ze struktury „tvar“ vznikne slovní tvar. • Pravidlo:výstup = tvar.lemma + tvar.koncovka • Zesložitění pravidla, aby řešilo fonologicky podmíněné změny (na to už je unifikace nevhodná): místo *háčeky, *háčeki, *háčekové chceme háčky, háčci, háčkové http://ufal.mff.cuni.cz/course/popj1

12. Morfologická analýza pomocí unifikace • Neunifikační část: najít všechny možné afixy, které lze ve slově vidět  množina struktur „tvar“. • Které afixy (koncovky) existují, víme ze struktur typu „vzor“. • Vyřešit (nějak) změny kmenových souhlásek, palatalizaci apod. • Pak už lze postupovat opačně k syntéze: unifikovat tvar se vzorem, a výsledek se slovníkem. Co se ve slovníku skutečně najde, patří do analýzy. • např. běžím=běžet(trpět)+osoba(1), běží(stavení)+pád(7) http://ufal.mff.cuni.cz/course/popj1

13. Unifikační morfologická gramatika (UMG) • Jan Hajič: Unification Morphology Grammar (doktorandská práce). Univerzita Karlova, Praha, 1994 • Stuart Shieber: An Introduction to Unification-based Approaches to Grammar. CSLI Lecture Notes No. 4, Stanford, California, USA, 1986 • Základ: bezkontextová gramatika. • S každou složkou (symbol + rozsah) je spojena struktura rysů. • Pravidlo: levá strana  pravá strana := operace nad strukturami rysů. • Operace mohou i zablokovat použití pravidla požadavkem na unifikovatelnost. • Unification-based chart parser, PATR-II (Shieber). • Podobně jako CFG byly i unifikační gramatiky původně navrženy pro analýzu věty a teprve později aplikovány na analýzu slova. http://ufal.mff.cuni.cz/course/popj1

14. Syntax UMG • Levá  pravá := operace se strukturami rysů • pravidlo gramatiky • <X> • neterminál X. Terminály se píší jen tak. • # • operátor unifikace (současně vznáší požadavek na unifikovatelnost) • ^ • operátor odkazu (odděluje části cesty (neterminály) ke struktuře rysů, na kterou odkazujeme) • + • operátor sřetězení • | • operátor disjunkce. Z disjunkce struktur rysů se vyberou všechny struktury, které lze použít (jsou unifikovatelné atd.) Disjunkce struktur rysů může zachytit různé analýzy téhož řetězce. http://ufal.mff.cuni.cz/course/popj1

15. Příklad pravidla v UMG <N>  <L> := [l=<L>^l, umlaut=<L>^umlaut # no] • Interpretace: • Pokud: • rozpoznali jsme složku <L> a • hodnota atributu umlaut ve struktuře rysů svázané s touto složkou je „no“ • Potom: • rozpoznali jsme ve stejném rozsahu složku <N> • do její struktury rysů máme ze struktury rysů složky <L> okopírovat atributy l a umlaut http://ufal.mff.cuni.cz/course/popj1

16. Teoretický pohled na slovník • Pravidlo, které generuje prázdný řetězec, ale poskytuje své levé straně obrovskou strukturu rysů, obsahující celý slovník. • <LEX>  "" :=[kmen=mat, hw=matka, pos=N, x=zn6e] |[kmen=atom, hw=atom, pos=N, x=hd1] |[kmen=nov, hw=nový, pos=A, x=reg] |[kmen=prac, hw=pracovat, pos=V, x=ovatn] |…; http://ufal.mff.cuni.cz/course/popj1

17. Teoretický pohled na slovník • Napojení slovníku na zbytek gramatiky: • <R>  <S>u <LEX> := <LEX> # [x=hd1, kmen=<S>, case=gen|dat|loc, num=sg] • Pravidlo reprezentuje tvoření 2., 3. a 6. pádu jednotného čísla podle vzoru hd1 (hrad). • R zastupuje slovo unifikované se slovníkem. • S je část vstupu odpovídající kmeni slova. Koncovka je uvedena přímo terminálem, LEX za ní odpovídá prázdnému řetězci. • Pravidlo za := říká, že nás z LEX zajímají ty struktury, jejichž kmen odpovídá S a kódují 1. nebo 4. pád jednotného čísla podle vzoru hd1. • Slovníkové záznamy, které projdou tímto filtrem, utvoří množinu struktur rysů svázanou s neterminálem R. Navíc se do těchto struktur připíše informace o čísle a pádu. http://ufal.mff.cuni.cz/course/popj1

18. Příklad UMG <L>  a := [l=a]; <L>  b := [l=b]; … <N>  <L> := [l=<L>^l]; <N>  <L> <N> := [l=<L>^l+<N>^l]; <S>  <N> := <N>; <R> <S> := <LEX> # [stem=<S>^l, x=hd1, num=sg, case=nom|acc, …]; <R> <S>u := <LEX> # [stem=<S>^l, x=hd1, num=sg, case=gen, …]; <LEX>  "" := … | [stem=hrad, x=hd1, …] | … http://ufal.mff.cuni.cz/course/popj1

19. <L> je písmeno Příklad UMG <N> je řetězec <L>  a := [l=a]; <L>  b := [l=b]; … <N>  <L> := [l=<L>^l]; <N>  <L> <N> := [l=<L>^l+<N>^l]; <S>  <N> := <N>; <R> <S> := <LEX> # [stem=<S>^l, x=hd1, num=sg, case=nom|acc, …]; <R> <S>u := <LEX> # [stem=<S>^l, x=hd1, num=sg, case=gen, …]; <LEX>  "" := … | [stem=hrad, x=hd1, …] | … <S> je potenciální kmen slova <R> je rozpoznaný tvar slova ověřený ve slovníku http://ufal.mff.cuni.cz/course/popj1

20. Slovník v praxi • Začlenění do gramatiky není efektivní. • V praxi se obchází: • Slovník uložit v samostatné datové struktuře s efektivním vyhledáváním. • Pravidla obsahující <LEX> ošetřit algoritmem pro přístup k této struktuře. • Zbytek gramatiky zpracovat normální analýzou. http://ufal.mff.cuni.cz/course/popj1

21. Příklad UMG vzor • Slovník mat zn6e =matka Typický systém s mnoha vzory, např. 44 různých vzorů odpovídá „školnímu“ vzoru žena (aniž by vzory řešily případné zkracování kmenové samohlásky). lemma kmen http://ufal.mff.cuni.cz/course/popj1

22. Příklad UMG { vzor = stavení; levá strana je vždy stejná, vynecháváme } <_><í>$ := [key=<_>í, x=(st|rž), cat=[pos=n], morf=[infl=[pf=([gnd=n, num=sg, case=(nom|gen|dat|acc|voc|loc)] | [gnd=n, num=pl, case=(nom|gen|acc|voc)])]]]; <_><í><m>$ := [key=<_>í, x=(st|rž), cat=[pos=n], morf=[infl=[pf=([gnd=n, num=sg, case=ins] | [gnd=n, num=pl, case=dat])]]]; <_><í><c><h>$ := [key=<_>í, x=(st|rž), cat=[pos=n], morf=[infl=[pf=[gnd=n, num=pl, case=loc]]]]; <_><í><m><i>$ := [key=<_>í, x=(st|rž), cat=[pos=n], morf=[infl=[pf=[gnd=n, num=pl, case=ins]]]]; http://ufal.mff.cuni.cz/course/popj1

23. Srovnání UMG a CFG • Struktura rysů uchovává výstup analýzy (značku)  nepotřebujeme dohodu o pojmenování neterminálů • Disjunkce struktur zachytí homonymní analýzy  nepotřebujeme štěpit neterminály • Fonologie stále problematická. Buď exploze vzorů (UMG), nebo kombinace s dvojúrovňovými pravidly (viz dále) http://ufal.mff.cuni.cz/course/popj1

24. PC-Kimmo Word Grammar • Unifikační gramatika podle Stuarta Shiebera. Trochu jiná syntax než UMG, podobné použití. • lexicon • rozpoznání morfémů ve slově • rules • fonologické změny na hranici morfémů • grammar • rozbor vztahů mezi morfémy • odvození vlastností slova z vlastností morfémů • omezující podmínky na to, které morfémy lze kombinovat http://ufal.mff.cuni.cz/course/popj1

25. en +`large +ment +sVR1a +`large +NR25 +PL Word ______|_______ Stem INFL _____|______ +s Stem SUFFIX +PL ___|____ +ment PREFIX Stem +NR25 en+ | VR1a+ ROOT `large `large Word: [ cat: Word head: [ agr: [ 3sg: - ] number:PL pos: N ] root: `large root_pos:AJ clitic:- drvstem:- ] PC-Kimmo Word Grammar http://ufal.mff.cuni.cz/course/popj1

26. PC-Kimmo Word Grammar • Stará část PC-Kimma nejdříve tokenizuje slovo na morfémy. • Nová část potom rozebere posloupnost morfémů podle gramatiky. • Gramatika může některé posloupnosti morfémů zavrhnout. • Ostatním přiřadí výklad (strukturu rysů). Staré PC-Kimmo dokázalo glosovat morfémy, ale nedokázalo říct, co z toho plyne pro celek (např. že přípona –able udělá ze slovesa přídavné jméno). • Takhle vypadá pravidlo gramatiky: • Word -> Stem INFL<Stem headpos> = <INFL from_pos> <Word head> = <INFL head> http://ufal.mff.cuni.cz/course/popj1

27. Pravidlo gramatiky • Word -> Stem INFL<Stem headpos> = <INFL from_pos> <Word head> = <INFL head> • Pravidlo nelze použít, jestliže rys pos podstruktury head morfému Stem není roven rysu from_pos morfému INFL. • Symboly morfémů jsou preterminály a odpovídají názvům podslovníků, ve kterých byly morfémy nalezeny. • Pokud bude pravidlo použito, má se hodnota rysu head ze složky INFL zkopírovat do stejnojmenného rysu složky Word. http://ufal.mff.cuni.cz/course/popj1

28. Pravidlo gramatiky • RULE<pravidlo> <podmínky pravidla> • Levou a pravou stranu pravidla odděluje -> nebo =. • RULE Stem_1 = Stem_2 SUFFIX • X zastupuje libovolný terminál nebo neterminál. • Zvláštní znaky jsou ()[]{}<>=:/ • Podtržítko jen pro připojení indexu k symbolu. • Levá strana prvního pravidla je počáteční symbol gramatiky. • N = Nstem {Sing / Plural} http://ufal.mff.cuni.cz/course/popj1

29. Výhody gramatiky • Příklady z češtiny: • Gramatika zabrání spojení kmene podle vzoru „žena“ s koncovkou podle vzoru „růže“. • Ohlídá i závislosti na dlouhé vzdálenosti, např.: • nejchytřejší • Utvořením přídavného jména přivlastňovacího „ženin“ se změní rod z ženského na mužský. Původní rod se uloží jako rod vlastníka. http://ufal.mff.cuni.cz/course/popj1

30. Bez gramatiky Kmen N pán 0, a, ovi, a, e, ovi, em, i, … Kmen N hrad 0, u, u, 0, e, u, em, y, ů, … Kmen N muž 0, e, i, e, i, i, em, i, ů, … Init Kmen N stroj 0, e, i, 0, i, i, em, e, ů, … Kmen N předsed a, y, ovi, u, o, ovi, ou, … Kmen N soudc e, e, i, e, e, i, em, i, ů, … http://ufal.mff.cuni.cz/course/popj1

31. S gramatikou Kmen N MASC [vzor: x] 0, a, ovi, e, em, i, ové, ů, ům, y, ech, u, é, ích, o, ou [vzor: x] Init http://ufal.mff.cuni.cz/course/popj1

32. Bez gramatiky Kmen A zelen Init Kmen A jarn ý, ého, ému, ého, ém, … Kmen A zelenějš í, ího, ímu, ího, ím, ím, í, … nej Kmen A jarnějš http://ufal.mff.cuni.cz/course/popj1

33. S gramatikou Kmen A zelen Init ejš Kmen A jarn ý, ého, ému, ého, … Kmen A mlad í, ího, ímu, ího, ím, … nej Kmen A mladš nepravidelný 2. stupeň http://ufal.mff.cuni.cz/course/popj1

34. Gramatika neovlivňuje fonologii • Fonologické pravidlo pro změkčování v rozkazovacím způsobu: • meteš → meť(me,te) • t:ť  _ +:0 λ:0 nebo m:m e:e nebo t:t e:e • Nemá se uplatnit ve 2. pádě množného čísla ženského rodu: • kóta → *kóť • Fonologická pravidla si nemohou ze struktur rysů přečíst, kdy se mají uplatnit. http://ufal.mff.cuni.cz/course/popj1

35. Automatické rysy • Každé slovníkové heslo má automaticky tyto základní rysy: • cat = název podslovníku (\lx) • lex = morfém, lexikální řetězec (\lf) • gloss = glosa ze slovníku (\gl) http://ufal.mff.cuni.cz/course/popj1

36. Přiřazování hodnot rysům • Zkratky přiřazení rysů • Hodnoty, které budeme přiřazovat každému slovníkovému heslu, chceme psát co nejkratší. • LET<zkratka | kategorie> be <definice> • např. • Let pl be [number: PL] • Let pl be <number> = PL • Let 3sg be [tense: PRES agr: 3SG] • Disjunkce: • Let sg/pl be {[number:SG][number:PL]} • Let sg/pl be <number> = {SG PL} • Výchozí hodnoty: • Let N be <number> = !SG • Nepřiřadí-li někdo podstatnému jménu explicitně číslo, má se za to, že číslo je jednotné. http://ufal.mff.cuni.cz/course/popj1

37. Lexikální pravidla • Nikoli zkratky, ale systematické transformace rysů pro skupiny slovníkových hesel. Převedou jednu strukturu rysů na jinou. • DEFINE<název lexikálního pravidla> as <zobrazení> • Příklad v dokumentaci na webu je vadný. • Na konci analýzy, když už máme hotovou strukturu rysů pro celé slovo, můžeme aplikovat lexikální pravidlo, které tuto strukturu upraví. http://ufal.mff.cuni.cz/course/popj1

38. Nastavení parametrů • PARAMETER<název> is <hodnota> • Parameter Start symbol is Word • Parameter Attribute order is cat head root • V jakém pořadí má PC-Kimmo zobrazovat rysy? • Category feature (výchozí: cat) • Lexical feature (výchozí: lex) • Gloss feature (výchozí: gloss) • Jak se jmenují důležité rysy se zvláštním významem? http://ufal.mff.cuni.cz/course/popj1

39. Ukázka v PC Kimmo • r ženě • Syntéza (nová v PCK v. 2, ale použití gramatiky není povinné) • l synthesis-lexicon cs.lex • s N(žena) +SG+LOC • Je-li k dispozici gramatika, zablokuje syntézu nedovolených kombinací • Nejde ale generovat ze struktury rysů http://ufal.mff.cuni.cz/course/popj1

40. DATR • Formalismus a nástroj pro morfologii založený na strukturách rysů a dědičnosti (viz objektové programování) • Např. struktura pro vzor hrad má nějaké koncovky, struktura pro podvzor les vše zdědí, ale některé koncovky předefinuje. • Gerald Gazdar, University of Sussex, http://www.informatics.susx.ac.uk/research/nlp/datr/datr.html http://ufal.mff.cuni.cz/course/popj1

41. Primitivní metody morfologické analýzy • Seznam slovních tvarů • books: book-1/NNS, book-2/VBZ • Zadrátovat do programu • hlavní slovník: book / pravidelné sloveso, book / pravidelné podstatné jméno, nic / přídavné jméno: nice, … • koncovky: pravidelné sloveso + s / VBZ, pravidelné podstatné jméno + s / NNS, přídavné jméno / JJR, … http://ufal.mff.cuni.cz/course/popj1

42. Seznamy slovních tvarů • Málo specifického kódu, velké nároky na paměť pro slovník. • Funguje pro angličtinu. • Problém se zadáváním jazyka: opakované psaní kmenů slov. Pro jazyky, jako je angličtina, je míra opakování snad únosná. • Počet tvarů v angličtině řádově ~ počet lemmat (pár set tisíc). • Čeština: 700 tisíc lemmat (i odvozených), milióny tvarů (asi 20M, ovšem řada homonymních a mnohé zřídka používané) • Implementace: vyhledávací stromy, hašovací tabulky (Perl!), trie. http://ufal.mff.cuni.cz/course/popj1

43. Seznamy slovních tvarů: vyvážené vyhledávací stromy booking book-1+s(podst. jméno + množné číslo) nebo book-2+s (sloveso + 3. osoba) bookable booklet book booked bookish books http://ufal.mff.cuni.cz/course/popj1

44. Seznamy slovních tvarů: hašovací tabulky • Hašovací funkce spočitatelná pro libovolný řetězec, s omezeným oborem hodnot. Například (slovo = a1a2…an; velikost tabulky = x, nejlépe prvočíslo): • Tedy v céčku: hsh = 0for(i=0;i<n;i++) hsh = hsh*2+(int)a[i];hsh %= x; http://ufal.mff.cuni.cz/course/popj1

45. Seznamy slovních tvarů: hašovací tabulky • Tabulka statické velikosti, indexem je hašovací hodnota. • Z prvku s indexem i vede odkaz na seznam všech slov ve slovníku, jejichž hašovací hodnota je i. U slov je uvedeno jejich lemma a značka. • Hašovací funkce pokud možno taková, aby rozprostírala řetězce do tabulky rovnoměrně. • Tabulka pokud možno co největší, jaká se vejde do paměti. • Výsledek: rychlé vkládání, vyhledávání i odstraňování. • Perl už má implementováno, stačí$slovnik{$slovo}=$lemma."/".$znacka; http://ufal.mff.cuni.cz/course/popj1

46. Seznamy slovních tvarů: trie • Reprezentace části slovníku: • a, a, neurčitý člen • an, a, neurčitý člen před samohláskou • and, and, spojka (a) • ant, ant, podstatné jméno (mravenec) • at, at, předložka (v) a a,Art a,Artv n t at,Prep d t and,Conj ant,NN http://ufal.mff.cuni.cz/course/popj1

47. Přímé kódování, vnitřní segmentace slova • O něco více specifického kódu v programu. Pro jiný jazyk nebo pro přidání dosud nezpracovaných jevů může být obtížné upravit. • O něco méně paměťových nároků na slovník. Jeden kmen už se kóduje jen jednou, má u sebe uveden vzor skloňování (časování, stupňování), povolené předpony a přípony. • I tak je možné slovník ukládat podobným způsobem jako seznam slovních tvarů: hašovací tabulkou, trie, vyhledávacím stromem, … http://ufal.mff.cuni.cz/course/popj1

48. Přímé kódování, vnitřní segmentace slova • (Word segmentation je ale oddělování slov, například při zpracování řeči — neplést!) • Oddělit předpony (do-, od-, roz-, pře-, …, ne-). • Pro všechny použitelné koncovky opakovat: • Rozdělit slovo na kmen a koncovku. • Podívat se, zda takový kmen existuje ve slovníku. Pokud ano, zapamatovat si informaci ze slovníku, zejména vzor skloňování. • Zjistit, zda vzor připouští nalezenou koncovku. • Zjistit, zda lemma pro daný kmen připouští nalezenou předponu. • Podle vzoru a koncovky zjistit lemmata a značky, které přicházejí v úvahu. http://ufal.mff.cuni.cz/course/popj1