FORMALNE GRAMATIKE

1. FORMALNE GRAMATIKE Regularne gramatike (Regular Grammars) Božo Bekavac

2. Konačni automat (KA) • Pokušajmo objasniti princip rada konačnog automata na primjeru automata za kavu. • Karakteristike automata za kavu su: • cijena kave je 2,5 kuna • jedine kovanice koje prihvaća su: p=0.5 (pola kune); k=1 (kuna); d=2 (dvije kune) • automat za kavu prihvaća bilo koju kombinaciju u bilo kojem poretku do 2,5 kn i ne vraća višak novca

3. Konačni automat (KA)

4. Konačni automat (KA) • Postave koje prepoznaje automat za kavu: kkp, kpk, dp, ppppp, ... • PREPOZNAVANJE POSTAVA: bilo kojim putem doći od 0 do ZS (stanje s dvostrukom kružnicom).

5. Konačni automat (KA) • Zadatak: Karakteristike automata za sok su: • cijena soka je 9 kuna • jedine kovanice koje prihvaća su: d=2 (dvije kune); p=5 (pet kuna) • automat za sok prihvaća bilo koju kombinaciju u bilo kojem poretku do 9 kn i ne vraća višak novca

6. Konačni automat (KA) - rješenje

7. Konačni automat (KA) • Prije nego što ubacimo bilo koju kovanicu u automat, on nalazi se u početnom stanju. • Ubacivanje odgovarajućih kovanica mijenja stanja automata do završnog stanja. Označavamo ga s dvostrukom kružnicom. • Stroj za kavu je konačni automat, KA, (Finite State Automatom, FSA).

8. Konačni automat (KA) • Zamijenimo termine automata za kavu: • Ulaz u automat nisu kovanice nego riječi: p, k i d. • Skup svih ispravnih kovanica koje prihvaća automat je alfabet (abeceda). • Nizovi kovanica koje prihvaća automat su rečenice (postave). • Cjelokupan skup rečenica koje prihvaća (ili prepoznaje) automat je jezik. • Automat ima pravila prema kojima prihvaća rečenice, a ona su gramatika.

9. Konačni automat (KA)

10. Konačni automat (KA) • Koje je od sljedećih rečenica moguće generirati prethodnim konačnim automatom? • A happy boy eats sad ice cream. • The boy eats ice cream. • A boy ate dogs. • A happy boy ate hot dogs. • One ate candy. • One happy girl eats candy. • One happy happy girl eats candy. • One happy girl eats hot hot dogs.

11. RJEŠENJE • A happy boy eats sad ice cream? N • The boy eats ice cream. Y • A boy ate dogs. N • A happy boy ate hot dogs. Y • One ate candy. N • One happy girl eats candy. Y • One happy happy girl eats candy. Y • One happy girl eats hot hot dogs. N

12. Obrada postava • KA mogu generirati ili prepoznavati postave nekog jezika. • Kad automat pročita posljednji simbol, izlaz je: • Prihvaćanje postave: ako se automat nalazi u završnom stanju, • Odbijanje postave: ako automat nije u završnom stanju. • (Postava se također odbija ako bilo koji ulazni simbol kojeg automat čita nije član alfabeta.)

13. KA - prepoznavanje prirodnoga jezika • Izraditi KA koji će prepoznavati sljedeće postave koristeći vrste riječi (POS): with sinking credit ratings about obsessive love across borders for new territorial concessions in column

14. KA - prepoznavanje postava engleskoga (<PREP><A>*<N>)

15. ZADATAK • Izraditi KA koji će prepoznavati sljedeće postave koristeći vrste riječi (POS): are with the overwhelming majority packaged into a collector race across the factory floor refer to the people resulted in a near total loss served in the White House

16. ZADATAK - rješenje • <V><PREP><DET><A>*<N> • glagol prijedlog DET pridjev* imenica

17. Lokalna gramatika (M. Gross) • Lokalna je gramatika (local grammar) konačni automat koji opisuje ispravne (well-formed) nizove u tekstu i označava ih • Lokalna:često služi za opis lokalnih fenomena koji obuhvaćaju niz od nekoliko pojavnica • Postavlja leksičko-sintaktička ograničenja

18. Lokalna gramatika • Imenska sintagma English speaking student može biti opisana konačnim automatom:

19. Lokalna gramatika • na mjestu English može biti bilo koji jezik, • na mjestu student može biti bilo koja imenica koja se odnosi na ljudsko biće, individualno (npr. child, grocer) ili grupno (npr. Parliament), • riječ speaking je obavezna, isključujući slične riječi kao talking, discussing…

20. Lokalna gramatika: primjer 2 • Gross: jezik funkcionira spajanjem različitih lokalnih modela konačnih stanja upravo preko obiteljskih nizova odnosno mehanizma lokalne gramatike

21. FORMALNE GRAMATIKE Beskontekstne gramatike (context-free grammars)

22. Beskontekstne gramatike • gramatike tipa 2 • Pravila proizvodnje ovih gramatika imaju oblik A → α • Neterminal → Neterminal i/ili Terminal

23. Stablo parsanja (parse tree)

24. Sastavnice - engleski • Sastavnica je dio rečenice koji funkcionira kao samostalna cjelina. Primjer, NP (Noun Phrase): • A boy hits a ball. • A boy hits a big ball. • A boy hits NP. • A ball hits a boy. • A big ball hits a boy. • NP hits a boy.

25. ZADATAK • S→NP VP • NP→D N • VP→V NP • D→a|one|the|every • N→boy|girl|farmer|donkey • V→loves|beats|kisses|eats|sees • Deriviracija rečenice: every boy kisses the girl

26. ZADATAK - derivacija • S→NP VP (1) • →D N VP (2) • →every N VP (4) • →every boy VP (5) • →every boy V NP (3) • →every boy kisses NP (6) • →every boy kisses D N (2) • →every boy kisses a N (4) • →every boy kisses a girl (5)

27. ZADATAK - stablo • Primjenom pravila proizvodnje izvedite još jednu rečenice koje pripadaju ovoj gramatici.

28. Premetanje sastavnica - engleski • On September seventeenth, I'd like to fly from Atlanta to Denver • I'd like to fly on September seventeenth from Atlanta to Denver • I'd like to fly from Atlanta to Denver on September seventeenth • *On September, I'd like to fly seventeenth from Atlanta to Denver • *On I'd like to fly September seventeenth from Atlanta to Denver • *I'd like to fly onSeptember from Atlanta to Denver seventeenth

29. Hrvatski jezik - slobodan red riječi • Divove obuze strah. • Strah obuze divove. • Obuze divove strah. • Divove strah obuze. • Strah divove obuze. • Obuze strah divove. • broj mogućih rečenica = n!=3!=3*2*1=6 (permutacije bez ponavljanja) • 6 rečenica od 3 različite riječi • 15!=1.307.674.368.000

30. Hrvatski jezik - slobodan red riječi? • Azijska tržišta bilježe mješovite rezultate. • broj rečenica = n! • 5!=5*4*3*2*1=120 rečenica od 5 različitih riječi ??? • Koliko iznosi n?

31. Hrvatski jezik - slobodan red sastavnica • Azijska tržišta bilježe mješovite rezultate. • S P O • Mješovite rezultate bilježe azijska tržišta. • O P S • Bilježe azijska tržišta mješovite rezultate. • P S O • Bilježe mješovite rezultate azijska tržišta. • P O S

32. Hrvatski jezik - slobodan red sastavnica • Također potencijalno moguće: O S P S O P • Ali nije moguće: • Mješovite tržišta bilježe azijska rezultate. • IPAK POSTOJE OGRANIČENJA NA CJELOVITOST SASTAVNICA!!! • broj rečenica = n!, ALI n = 3, a NE n = 5! 3!=3*2*1=6 rečenica od 3 sastavnice

33. Odnosi između sastavnica • Ideja zasnivanja gramatike na konstituentskoj strukturi (strukturi sastavnica) potječe još od Wilhelma Wundta (1900), ali nije formalizirana do Chomskoga (1956) • Opisuju se sastavnice, odnosi među sastavnicama kao i pripadnost sastavnice nadređenoj cjelini

34. The fact that the men know John surprises Mary. • The fact that themen know John surprises Mary. • Slaganje na 2 mjesta: men know i fact suprises (Subject-Verb agreement). • KA “ne može” opisati ovisnosti na daljinu (long distance dependency).

35. The fact that the men know John suprises Mary. S→NP V NP NP→N NP→D N NP→NP that S

36. Parsanje • Parsanje (parsing) je postupak prepoznavanja rečeničnih dijelova i opisivanje relacija između njih. • Parsanjem se definira sintaktička struktura rečenice. • Neophodan postupak kod provjere sintaktičke strukture, prethodi semantičkoj analizi, strojnog prevođenja itd. • Jurafski Daniel, James H. Martin → poglavlje 12.

37. Strukturalna višeznačnost • Strukturalna višeznačnost (structural ambiguity) nije isto što i višeznačnost vrsta riječi (POS ambiguity)! • višeznačnost vrsta riječi: kos A/N; tvrdi A/V (hrv.) book N/V; can N/V (eng.) • Svim prirodnim jezicima inherentna je i strukturalna višeznačnost:

38. The boy saw the man on the hill with the telescope

39. The man kept the dog in the house • 1. stablo: pas je u kući čovjeka

40. The man kept the dog in the house • 2. stablo: pas je u psećoj kučici

41. Strukturalna višeznačnost • CFG gramatika G je višeznačna (ambigous) ako postoje barem dva različita derivacijska stabla za istu rečenicu u jeziku L(G). U protivnom je jednoznačna (unambigous).

42. Strukturalna višeznačnost • Promotrimo rezultate parsinga sa • http://erg.delph-in.net/logon • English ResourceGrammar (ERG). Rečenice • I playbasketball. • Iwillplaybasketball. • Colourlessgreenideassleepfuriously. • Colourlessgreenideassleepsfuriously. * • The boy saw the man on the hill with the telescope.

43. Višeznačnost pridruživanja • Višeznačnost pridruživanja (attachment ambiguity) → ako određena sastavnica može biti pridružena stablu parsanja na više mjesta. • PP-prijedložna fraza → razrješavanje prijedložnih fraza veliki je problem kod parsanja (PP attachment ambiguity) • Ali i drugi problemi:

44. Koordinacijska višeznačnost • Big dogs and cats must be on a leash. • 2 ZNAČENJA (interpretacije): 1. Bigdogs and cats must be on a leash. 2. Big dogs and big cats must be on a leash. • Isto u hrvatskom: Veliki psi i mačke moraju biti na uzici.

45. John and Jane or Tom • John and Jane or Tom … • Ivan i Marko ili Tomislav vole Anu. • Tko voli Anu? 1. Ivan i (Marko ili Tomislav) 2. (Ivan i Marko) ili Tomislav

46. Hijerarhija Chomskog

47. FORMALNE GRAMATIKEKontekstne gramatike (Context-sensitive grammars) i Gramatike bez ograničenja (Unrestricted grammars)

48. Kontekstne gramatike • gramatike tipa 1 • Pravila proizvodnje ovih gramatika imaju oblik: αAβ → αγβ Neterminal i/ili Terminal → Neterminal i/ili Terminal • S lijeve strane nalazi se bilo koji broj neterminala i terminala, s desne strane nalazi se također bilo koji broj neterminala i terminala. • Kontekstnima se nazivaju iz razloga što α i β definiraju kontekst u kojem se može primijeniti pravilo A → γ.

49. Nizozemski • Postoji li neki prirodni jezik kojega nije moguće prikazati beskontekstnom gramatikom? • L={anbn} je moguće generirati beskontekstnom gramatikom. Promotrimo primjer iz nizozemskoga: • L={N1N2N3V1V2 V3}

50. Engleski – kontekstna struktura John, Rod and David love Mary, Sandra and Bev respectively.