Wstęp do językoznawstwa synchronicznego 3003-11A1WS Filologia polska, I rok * 2013/2014

1. Wstępdo językoznawstwa synchronicznego3003-11A1WSFilologia polska, I rok * 2013/2014 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka Polskiego UW e-mail: m.r.swidzinski@uw.edu.pl Konsultacje w pok. 1: środa 16.30-17.30 Strona przedmiotu — szukaj pod: www.mswidz.republika.pl/

2. Program • Przedmiot językoznawstwa. • Cechy definicyjne języka naturalnego.  • Struktura języka I: słownik i morfologia. • Struktura języka II: składnia.  • Formalne rozumienie języka. Lingwistyka formalna i informatyczna. • Komunikacja językowa. • Podstawy leksykologii. Leksykografia. • Słowniki – analiza zawartości, klasyfikacja. • Zróżnicowanie języków świata. Podstawy typologii. • Typy badań lingwistycznych. • Kolokwium.

3. Temat 5 Formalne rozumienie języka. Lingwistyka formalna i informatyczna.

4. Intuicja opisu formalnego Model —urządzenie funkcjonujące jakoryginał. • Co jest tym oryginałem (= obiektem opisu)? Umowa:JN – zbiór wszystkich zdań poprawnych. • Co modelujemy? Ten zbiór. • Opis języka to definicja zbioru wszystkich zdań poprawnych i tylko takich. • Język jest zbiorem nieskończonym. • Język = gramatyka. • Opis języka jest równieżkonwencjonalny i arbitralny. • Istnieje nieograniczenie wiele poprawnych gramatyk (= opisów) danego języka.

5. Lingwistyka formalna i informatyczna • Lingwistyka do początków XX wieku – filologia: analiza tekstów minionych epok, egzegeza, interpretacje historyczne (etymologia). • Lingwistyka I połowy XX wieku – strukturalizm (J.N. Baudouin de Courtenay, F. de Saussure, M. Kruszewski, O. Jespersen, N. Trubeckoj, L. Hjelmslev, L. Tesniére, J. Kuryłowicz, L. Bloomfield, Z. S. Harris): opis struktury, nie genezy.

6. Lingwistyka formalna i informatyczna • Lingwistyka formalna:opisy matematyczne – twierdzenia, dowody, rachunki. Opis na papierze!!! Wynik: definicja drzew struktury. • Lingwistyka informatyczna: zadania inżynierskie – automatyczna analiza tekstu, przetwarzanie tekstów, przeszukiwanie itp. Opis jest urządzeniem – na przykład programem komputerowym. Wynik: rzeczywiste drzewa struktury dla danego wyrażenia (parsing trees). Pojęcie implementacjiopisu (formalnego).

7. Inny system dwuklasowy [Zbiór_zdań] = {1, 17, 909, 1889, 39976145,...} [Zbiór_zdań]to język!!! [Zbiór _znaków_prostych] = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} Wyrażenia niepoprawne (= nie należące do języka): • *01 • *017 • *0000953,...

8. Gramatyka formalna Gramatyka formalna =instrukcja: • Napisz dowolną cyfrę. • Zakończ. • Napisz dowolną cyfrę różną od 0. • Ewentualnie dopisz dowolną cyfrę do wyniku instrukcji c. • Operację d. możesz ewentualnie powtórzyć dowolnie wiele razy. • Napisz KONIEC.

9. Derywacje Nasze derywacje [1] • 0 • KONIEC

10. Derywacje [2] • 5 • 58 • KONIEC

11. Derywacje [3] • 5 • 58 • 589 5890 58900 589009 .......... • KONIEC

12. Zapis formalny Gramatyka formalna – pewien rachunek. Wiele szczegółowych formalizmów. Jedna z postaci gramatyki formalnej: gramatyka struktur frazowych, PS-grammar). G: <V, V', , P> gdzie: V słownik terminalny V' słownik nieterminalny (pomocniczy)  symbol początkowy P zbiór produkcji

13. Zapis formalny Przykładowa gramatyka formalna V = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} V' = {Cyfradow, Cyfranie0, Liczba, Liczbabez0}  = Liczba P:(1) Liczba  Cyfradow (2) Liczba  Cyfranie0 Liczbabez0 (3) Liczbabez0  Cyfradow (4) Liczbabez0  Cyfra Liczbabez0 (5) Cyfra  0, 1, 2, 3, 4, 5, 6, 7, 8, 9 (6) Cyfra1 1, 2, 3, 4, 5, 6, 7, 8, 9  gdzie  — 'przepisz to, co po lewej, na to, co po prawej stronie produkcji'. (4): produkcja rekurencyjna!!!

14. Przykładowa gramatyka formalna V = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} V' = {Cyfra, Cyfra1, Liczba, Liczba1}  = Liczba P:(1) Liczba  Cyfra (2) Liczba  Cyfra1 Liczba1 (3) Liczba1 Cyfra (4) Liczba1 Cyfra Liczba1 (5) Cyfra  0, 1, 2, 3, 4, 5, 6, 7, 8, 9 (6) Cyfra1 1, 2, 3, 4, 5, 6, 7, 8, 9  gdzie  — 'przepisz to, co po lewej, na to, co po prawej stronie produkcji'. (4): produkcja rekurencyjna!!!

15. Derywacje Nasze derywacje [1] Liczba Cyfra (1) 0 [2] Liczba Cyfra1 Liczba1(2) 5 Liczba1(6) 5 Cyfra (3) 58 (5)

16. Derywacje [3] Liczba Cyfra1 Liczba1(2) 5 Liczba1(6) 5 Cyfra Liczba1(4) 5 8 Liczba1(5) 5 8 Cyfra Liczba1(4) 5 8 9 Liczba1(5) 5 8 9 Cyfra Liczba1(4) 5 8 9 0 Liczba1(5) 5 8 9 0 Cyfra Liczba1(4) 5 8 9 0 0 Liczba1(5) 5 8 9 0 0 Cyfra Liczba1(4) 5 8 9 0 0 4 Liczba1(5) 5 8 9 0 0 4 Cyfra (4) 5 8 9 0 0 4 5 (5)

17. Derywacje Synteza i analiza Derywacja to również opis analizy. Interpretacja wyrażenia *058: • Reguła Liczba  Cyfra Liczba TAKIEJ REGUŁY NIE MA!!! Więc: wyrażenie się nie analizuje. Wyrażenie jest dewiacyjne (= nie istniejące, niepoprawne).

18. Gramatyka formalna jako model języka Co taka gramatyka „robi”? a. odróżnia wyrażenia poprawne od niepoprawnych (= nie należących do języka), b. interpretuje wyrażenia poprawne, c.wytwarza wyrażenia poprawne. Gramatyka robi to samo, co użytkownik tego języka!!!

19. Gramatyka formalna jako model języka W taki sam sposób można opisywać JN!!!

20. Język formalny Formalne rozumienie języka Język formalny: zbiór wszystkich wyrażeń poprawnych zbudowanych z elementów danego słownika (zbiór wszystkich wyrażeń nad danym alfabetem).  Gramatyka formalna: definicja języka formalnego, czyli instrukcja budowy (lub rozbioru) tych i tylko tych zdań, które należą do danego języka. Słownik należy do gramatyki!!!  Opis formalny danego JN: zdefiniowanie pewnego języka formalnego i dopasowanie go do opisywanego JN.

21. Generatywizm Przewrót kopernikański w lingwistyce Noam Chomsky (1928-), profesor MIT. Syntactic Structures, Cambridge (Mass.) 1957. Gramatyka generatywno-transformacyjna. Gramatyka generatywna: • każda gramatyka formalna. • gramatyka Chomsky’ego. ST: Standard Theory Idea: • składnik frazowy: definicja zbioru drzew • składnik transformacyjny: przekształcenia drzew • interpretacja fonologiczna i semantyczna

22. Generatywizm Przykładowe reguły frazowe S => NP — AUX — VP VP => V — NP — PP NP => (Det) —N PP => P — NP N => Jeeves, employer, castle V => meet AUX => will P => at DET => the, his

23. Generatywizm

24. Generatywizm Intuicja transformacji Przekształcają drzewo w inne drzewo: At the castle, Jeeves will meet his employer. His employer, Jeeves will meet at the castle. Meet his employer at the castle, Jeeves will (indeed).

25. Generatywizm Aspects of the Theory of Syntax, Cambridge (Mass.) 1965. [Po polsku: Zagadnienia składni ogólnej, Warszawa 1976] EST: Extended Standard Theory. Idea: • drzewo – struktura głęboka • drzewo przekształcone – struktura powierzchniowa • zachowanie znaczenia • ograniczenia selekcyjne • interpretacja semantyczna

26. Generatywizm Lectures on Government and Binding, Dordrecht 1981. GB: teoria rządu i wiązania. Idea: • proces nabywania języka: 3 składniki • wstępne doświadczenia językowe • UG (zbiór zasad i parametrów) • gramatyka danego języka • wszystkie języki świata mają tę samą UG • gramatyka: składnik frazowy (z warunkami), jedna transformacja (Move )

27. Generatywizm Aparat pojęciowy • subkategoryzacja • teoria Theta • role tematyczne • zasada projekcji • rozszerzona zasada projekcji • rzut (projekcja) • przypisywanie przypadka • c-command • teoria wiązania • ograniczenia lokalne • łańcuchy A • przesunięcie NP • punkt lądowania • bariera ..........................

28. Generatywizm Inne teorie • Joan Bresnan, Ronald Kaplan (po 1970) LFG (Lexicalfunctionalgrammar) • Alain Colmerauer, Fernando Pereira, David Warren (po 1978) DCG (DefiniteClauseGrammars) • Ivan A. Sag, Carl J. Pollard (koniec lat 1980) HPSG (Head-DrivenPhraseStructureGrammar) • Noam Chomsky (1995) The Minimalist Program

29. Generatywizm Jest bardzo obfita literatura generatywistyczna: opisy wielu języków – także egzotycznych; także polszczyzny. Głównie: GB i HPSG. • Pionier: I. Bobrowski • GB: P. Bański. J. Błaszczak, K. Dziwirek, B. Rozwadowska, E. Willim, J. Waltoś • HPSG: A. Przepiórkowski, A. Kupść, A. Marciniak, A. Mykowiecka

30. Gramatyka metamorficzna PROLOG i DCG w Polsce • A. Colmerauer (1978) – gramatyka metamorficzna i język programowania PROLOG. • S. Szpakowicz, Formalny opis składniowy zdań polskich (1983, 1986) • M. Świdziński, Gramatyka formalna języka polskiego (1992) GM = prawie gotowy parser!!!

31. Gramatyka metamorficzna Przykładowe reguły GFJP FNO (p,rl,o,neg,i,z,kl) = KNODOP (p,rl,o,neg,i,z,kl) FZD (KTÓRY,k,a,c,t,neg1,rl) PRZEC $ RÓŻNE (kl,CO.KTO.WZ) = KNODOP (p,rl,o,neg,i,z,kl) FZD (tfz,k,a,c,t,neg1,rl) PRZEC $ RÓWNE (kl,CO.KTO) $ RÓWNE (tfz,kl.KTÓRY). Chłopiec, którego znam, umarł. Nie mam tego, czym się szczycisz, ani pieniędzy.

32. Gramatyka metamorficzna FW1 (BIER,k,a,c,rl,o,neg,i,z) = FNO (DOP,rl1,o1,neg,i,z,kl). $ RÓWNE (neg,ANI.NIE). FW1 (BIER,k,a,c,rl,o,TAK,i,z) = FNO (BIER,rl1,o1,neg,i,z,kl). Nie kupili żadnej książki . Ciekawą książkę kupili.

33. DCG • zdanie(Wf,A,C,T,Rl,O,Neg,Dest,I,Pk,Sub) --> s(ze1),ff(Wf,A,C,T,Rl,O,Wym1,Neg,Dest1,I1,Pk1,na), { sprawdz_wf(Wf,Wym1,Wym) },sequence_of([fw(W2,A,C,Rl,O,post,Neg,Dest2,I2,Pk2,po) ^[oblwym_iter,Wym,W2,ResztaWym],fl(A,C,Rl,O,Neg,Dest2,I2,Pk2,po) ^[najwyżej3,0,_,_] ] ^[obldest_iter,Dest1,Dest2,Dest]^[oblink_iter,I1,I2,I] ^[sprawdz_pk_iter,Pk1,Pk2,Pk] ), { ResztaWym = wym([],OW),resztawym(OW) }.

34. Implementacje Opis formalny może być zrealizowany w praktyce, czyli zaimplementowany. Implementacja: • napisanie programu, • sam ten program (aplikacja)

35. Implementacje • Analizator morfologiczny AMOR (1999-2002) (Michał Rudolf, Joanna Rabiega-Wiśniewska)

36. Implementacje • Analizator morfologiczny POMOR (po 1987) (dr Robert Wołosz, Pecs)

37. Implementacje • Analizator morfologicznyMorfeusz (dr Marcin Woliński, Warszawa)

38. Implementacje • Analizator składniowy Marcina Wolińskiego Świgra Marcin Woliński, Komputerowa weryfikacja gramatyki Świdzińskiego. Rozprawa doktorska, Instytut Podstaw Informatyki PAN, Warszawa, grudzień 2004 Promotor: J.S. Bień. http://nlp.ipipan.waw.pl/~wolinski/swigra/

41. Implementacje • Projekt składniowy: Budowa banku drzew składniowych dla języka polskiego z wykorzystaniem automatycznej analizy składniowej,Nr N 104 2247 35. Kierownik projektu: dr Marcin Woliński. Od 14.10.2008 do 13.10.2011.

42. Produkty Zastosowania • Złota encyklopedia PWN • Komputerowy Słownik Języka Polskiego • Słownik gramatyczny języka polskiego • Korpus PWN • Korpus IPI PAN

43. Produkty • Wyszukiwarka HOLMES (Michał Rudolf) • Wyszukiwarka Poliqarp (Marcin Woliński, IPI PAN)

44. Zadania Napisz gramatyki formalne dla następujących języków: • Język liczb dziesiętnych: J1 = {-0,73, 11,5, 1298,333, 12, 0,00000071,…} • Język ułamków zwykłych: J2 = {0, -1[2/3], 128[1/2], 3[7/141], -122,…} • Język zegara 12-godzinnego: J3 = {6.15A, 8.44P, 9.12P, 12.00P, 14.11P,…}

45. Podsumowanie • Druga połowa XX wieku: początek ery lingwistyki formalnej. • Wybitne nazwiska: N. Chomsky, J.Bresnan, G. Gazdar, I. Sag, A. Colmerauer, F. Pereira, C. Pollard. W Polsce: I. Bobrowski, E. Willim, A. Przepiórkowski. • Ważne teorie: gramatyka generatywno-transformacyjna – teoria standardowa, rozszerzona teoria standardowa, teoria rzadu i wiązania, minimalizm; uogólniona gramatyka struktur frazowych; gramatyka struktur frazowych ze sterowaniem od nadrzędnika; gramatyka metamorficzna. • Lingwistyka informatyczna: wykorzystanie gramatyk formalnych jako narzędzia NLP.

46. Zapis formalny Przykładowa gramatyka formalna V = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} V' = {Cyfra_dowolna, Cyfra_nie_0, Liczba, Liczba_nie_od_0, Liczba_od_0, Minus, Przecinek}  = Liczba P:(1) (2) (3) (4) (5) (6)