W3: Składnia, Semantyka

1. W3: Składnia, Semantyka Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006

2. Plan • W1: Lingwistyka • W2: Gramatyki • W3: Składnia, Semantyka • W4: Statystyka, Zastosowania 2 z 52

3. Rozpoznawanie (mowy, gestów itp.) Synteza(mowy, gestów itp.) Analiza tekstu Analiza morfologiczna Analiza składniowa Analiza semantyczna Analiza pragmatyczna Analiza (poziom odpowiedni wymogom) Reakcja (wykonanie operacji, sformułowanie odpowiedzi, tłumaczenie itp.) Ciąg przekształceń NLP Reprezentacja formalna(poziom odpowiedni) Tekst w języku naturalnym 3 z 52

4. Wybrane aspekty informatyczne • Modele formalne • Modele dedukcyjne • Algorytmy genetyczne • Algorytmy miękkich obliczeń • Algorytmy statystyczne • Złożone struktury danych i algorytmy ich przetwarzania • Bazy danych i bazy wiedzy • Ontologie 4 z 52

5. Gramatyki formalne a metody statystyczne • klasyczne opisy teoretyczne poszczególnych poziomów języka, przekształcanie na zapis formalny ( np. rozbiór syntaktyczny zgodny z jakąś teorią, formuła logiczna) • zalety: metody pewne, ścisłe, • wada: pokrywają niewielki podzbiór wypowiedzi w języku naturalnym • metody statystyczne – wnioskowanie o zależnościach występujących w języku naturalnym na podstawie dużych zbiorów danych • metody przybliżone, ale praktycznie użyteczne • metody statystyczne wspomagane metodami teoretycznymi • metody formalne wspomagane metodami statystycznymi 5 z 52

6. Formalny opis języka • Alfabet - dowolny zbiór symboli (V). • Słowo - skończony (także pusty-) ciąg symboli należących do alfabetu • Słownik – zbiór wszystkich słów nad alfabetem V, (V*). • Język L to dowolny podzbiór zbioru słów V* nad alfabetem V • Język to zbiór słów generowanych przez gramatykę • Gramatyka <V,T,S,P > • V- alfabet, • T- podzbiór V, symbole terminalne, • S - element V-T, • P - zbiór produkcji, reguły przepisywania 6 z 52

7. Gramatyki formalne c.d. • Wykorzystanie do opisu różnych poziomów JN • Fonologiczny • Jak buduje się morfy z fonem • Morfologiczny • Jaka jest struktura wyrazów (w jaki sposób morfy składają się na leksemy) • Syntaktyczny • Jaka jest struktura zdania (jak wyrazy składają się na zdanie) • Semantyczny • Jak znaczenia słów składają się na znaczenie zdania • Jak struktura semantyczna zdania określa treść 7 z 52

8. Gramatyki formalne c.d. • Uogólniając: gramatyka jest algorytmem „określającym” język • Trzy podejścia do modelowania • Podejście zwykle używane: jak skonstruować zdanie zawierające pewną treść • Model generuje nie zdania z zadanym sensem, a wszystkie możliwe „prawidłowe” zdania, pojęcie sensu tu nie istnieje, ale: • Pozwala zrozumieć, jak sens przekształca się w tekst (tym samym tekst – w sens) 8 z 52

9. Składnia (syntaktyka) (1) • Analiza składniowa: określenie struktury zdania i jego części składowych • Teoretyczne zasady składni języka – dla każdego języka z osobna • Topologia zdania • Problemy klasyfikacji wyrazów • W gramatyce tradycyjnej • W lingwistyce komputerowej • Funkcje gramatyczne • Tradycyjne • Nietradycyjne 9 z 52

10. Składnia (syntaktyka) (2) • Wiedza o sposobie łączenia słów we frazy, a fraz w zdania • Potrzeba informacji składniowych: • analiza i korekta gramatyczna • analiza pytań do baz danych • wyszukiwanie informacji • generowanie wypowiedzi w języku naturalnym • tłumaczenie • Opisy formalne języka polskiego: • S. Szpakowicz, Formalny opis składniowy zdań polskich, Wyd. UW, 1986 • M. Świdziński, Formalna gramatyka języka polskiego, Wyd. UW, 1992 10 z 52

11. Zdanie (wypowiedzenie) • Ponad 200 różnych definicji zdania • Uproszczona: „Najmniejszy odcinek tekstu będący samodzielnym komunikatem” • Psychologiczne: w rodzaju „skończona myśl” • Logiczne: „sąd logiczny” • Formalne: np. „Tekst zaczynający się dużą literą i kończący kropką lub innym określonym znakiem przestankowym” • … • „grzecznościowa”, żartobliwa definicja Klemensiewicza: „Tekst, po którym można przerwać rozmówcy bez obawy niegrzeczności” • Istota komunikatu językowego: predykacja • Komunikat służy do przekazywania informacji • Trzonem informacji jest • Osobowa forma czasownika w zdaniu • Inny składnik w równoważniku zdania 11 z 52

12. Gramatyki składni, kryterium • Kryterium główne: adekwatność i algorytmizacja podejścia, co jest ważne dla implementacji • W jakim celu jest opracowywana analiza (jaka faza analizy tekstu jest następna, np. semantyka, transfer itp.) • Jak formalizm radzi sobie z opisem gramatycznych zjawisk • Dopełnienia dalsze i bliższe • Szyk zdania • Anafory • Elipsy itp. • Ścisła zależność między strukturami składniowymi i strukturami morfologicznymi • Szczególnie ważne – dla języków fleksyjnych 12 z 52

13. Gramatyki składni (1) • Niech x – niepusty łańcuch (słowo) w słowniku V, i niech π jest zbiorem wszystkich symboli x. Binarna relacja  na π, dla której graf <π, > jest drzewem, będziemy nazywać relacją zależności składniowej dla x. Samo drzewo <π, > nazywa się drzewem zależności dla x. • Niech π – niepusty łańcuch (słowo) w słowniku V. Zbiór C odcinków łańcucha π nazywa się systemem składników bezpośrednich (drzewem struktury frazowej), jeżeli: • Do C należy odcinek składający się ze wszystkich elementów π, w tym do C należą wszystkie pojedyncze elementy π • Dowolne dwa odcinki C lub nie mają wspólnych elementów, lub jeden z nich zawiera inny • Zalety i wady • Realnie używane gramatyki – uzupełnione, rozszerzone • Uogólnienie – System Grup Składniowych, gramatyka SGGP (Syntactical Grammar Groups for Polish) 13 z 52

14. Gramatyki składni (2) • Gramatyki logiczne • Początek- gramatyki metamorficzne • Reguły przepisywania, w których symbole terminalne i nieterminalne mogą zawierać parametry • Parametrami mogą być złożone wyrażenia (np. termy jakiegoś języka formalnego) • Parametry mogą zawierać zmienne • Typy gramatyk logicznych • DCG (Definite Clause Grammars), problemy: • Swobodny szyk wyrazów – problem • Nieciągłość konstrukcji • FROG (FRee Order Grammar) – gramatyki szyku swobodnego – nowe wyzwanie 14 z 52

15. Gramatyki składni (3) • Gramatyki unifikacyjne (UG): zapis własności języka naturalnego w gramatykach unifikacyjnych • Przykład formalizmu – HPSG • Jeżeli  jest uogólnionym ciągiem symboli terminalnych i nieterminalnych gramatyki, a B0 -> B1 B2 ... Bk jest regułą, to zastosowanie reguły do  polega na: • Dopasowaniu symbolu po lewej stronie reguły do jednego z elementów  mającego tę samą kategorię • równość kategorii • spójność opisów atrybutów • Zastąpienie wybranego elementu  prawą stroną reguły • unifikacja opisów atrybutów • Literatura: • Shieber, S. M. An Introduction to Unification-Based Approaches to Grammar, CSLI Stanford, 1986 • Pollard, C., I. Sag, Head-Driven Phrase Structure Grammar, The University of Chicago Press, 1994. 15 z 52

16. Gramatyki składni (4) • Gramatyki unifikacyjne mają większą moc niż gramatyki bezkontekstowe • Gramatyki unifikacyjne są typu 0 - to znaczy moc ich równoważna jest mocy maszyny Turinga (generują języki rekurencyjnie przeliczalne) • Oznacza to, że nie istnieje procedura, która dla dowolnej gramatyki unifikacyjnej G i ciągu w określi, czy ciąg ten należy do języka generowanego przez G • Formalizmy unifikacyjne • FUG Functional Unification Grammar • LFG Lexical-Functional Grammar • GPSG Generalized Phrase Structure Grammar • CUG Categorial Unification Grammar • HPSG Head-driven Phrase Structure Grammar • ... 16 z 52

17. Frazy • Frazy (phrases) to ciągi słów/fraz • proste / zdaniowe (zdania, składające się z fraz, także są frazami) • podział w zależności od typu elementu głównego (podkreślony): • rzeczownikowe : ciekawa książka o malarstwie • przymiotnikowe: zupełnie nowa • przysłówkowe: bardzo dobrze • przyimkowe: w piątym rzędzie • czasownikowe: złapać zająca • liczebnikowe: drugi raz 17 z 52

18. Frazy rzeczownikowe, NP • dom • najstarszy dom w okolicy • dom, którego dach pomalowany był na niebiesko • największa ulewa od czasu, kiedy jego dziadek, zmuszony przez rodzinę żony, przeprowadził się do tego miasteczka • kobieta, dziecko i pies • ani wznoszenie błagalnych okrzyków ani bicie głową w mur 18 z 52

19. Frazy przyimkowe, PP • w domu • z szybkim napastnikiem należącym do drużyny przeciwnej • do punktu, z którego już nie mógł się wycofać • do smutku i żalu lub do czarnej rozpaczy • w góry lub nad morze 19 z 52

20. Frazy liczebnikowe, NumP • trzynaście • dwadzieścia tysięcy czterysta trzy i pół godziny • pierwsi dwaj chłopcy • albo pięciu albo tylko dwóch • liczebniki porządkowe (pierwszy, trzysta trzeci) są zwykle traktowane jako przymiotniki 20 z 52

21. Frazy przymiotnikowe, AdjP • biały • najbardziej zmęczony z całej drużyny • większy i bielszy niż przed rokiem • zarówno pewny i głęboko przeświadczony o swej racji i w istocie najbardziej zacięty z nas wszystkich, jak też zaciekle walczący o swoje prawa 21 z 52

22. Frazy przysłówkowe, AdvP • szybko • szybciej niż ktokolwiek mógł przypuszczać • wczoraj lub jeszcze dawniej • zarówno niewygodnie, jak też z całą pewnością ładniej, a także bardziej elegancko 22 z 52

23. Frazy czasownikowe, VP • kupił obraz • wierzę, że o tym nie zapomnisz • wczoraj bez żadnego namawiania przewiózł fotel samochodem z mieszkania ciotki do pracowni za 200 zł • kupił używany samochód, naprawił go i sprzedał za dwukrotnie wyższą cenę 23 z 52

24. Grupy składniowe • Co najmniej trzy, a może nawet cztery rozumienia pojęcia grupy składniowej • Abstrakcyjny człon składniowy, część struktury zdania • Niepredykatywne połączenie składników, ogranicza to pojęcie do konstrukcji co najmniej dwuelementowych • Zarówno podrzędne, jak i współrzędne (brat kolegi, kolega i brat) • Tylko podrzędne (piłka czerwona, piłka Jana, piłka do siatkówki) • Zdanie jest szczególnym przypadkiem grupy (brak przeciwstawienia grupy – zdaniu) • Gramatyka SGGP – kolejne rozumienie, uogólnienie • Dopuszcza się konstrukcje jednoelementowe • Podział na poziomy abstrakcji • Rozumienie zgodne z poziomami abstrakcji 24 z 52

25. Podstawowe problemy składniowe • Uzgodnienia (~równość cech) • Podmiot – orzeczenie: (rodzaj, liczba, osoba) • Piotr idzie *idą ale: • Piotr i Maria idą. Idzie / idą Piotr i Maria. • Pięciu chłopców przyszło. Dwaj chłopcy przyszli. • Rzeczownik – przymiotnik: (przypadek, rodzaj, liczba) • białym krukiem (*kruka) • itd. 25 z 52

26. Problemy składniowe, cd. • Negacja • Jan chciał kupić książkę. • Jan nie chciał kupić książki / *książkę. • Jan nikogo nie oszukał. • *Jan nikogo oszukał. • Koordynacja (struktury współrzędne) • frazy tego samego typu: koń i osioł; mały i zadziorny • frazy różnego typu: ufnie i bez strachu • Frazy „niepełne”: • złapał i ze złością odrzucił piłkę 26 z 52

27. Kolejne problemy • Szyk (ew. „przesunięcia”) • Do niego Jan szedł po raz drugi. • I looked up his grade. I looked his grade up. • Zależności odległe • Kogo chciałabyś, aby Piotr zaprosił? • To ten, którego musiałbyś poprosić o zgodę • Nieciągłość fraz • Smutny czekał go koniec. • Elipsy (brak wymaganych słów bądź fraz) • dialogi: Kogo widzisz? - Piotra [widzę]. • koordynacja różnego typu składników czy elipsa? • Pittsburgh prowadzi 4:0 ale Detroit [prowadzi] tylko 3:1. • pro-drop (pominięcie zaimkowego podmiotu) (to dość proste do analizy) • [Ja] zdałam egzamin. 27 z 52

28. Komputerowa analiza języka (1) • Składnia, semantyka, pragmatyka • W wielu badaniach – ograniczenie zainteresowania do przypadku analizy składniowej w rozumieniu wąskim • Reguły tworzenia wyrażeń bardziej złożonych z prostszych • Brak odwoływania się do znaczenia konstrukcji • Pomijanie powiązania analizy formalno-składniowej z innymi poziomami analizy: semantyką i pragmatyką • W niewielu badaniach celem jest rozumienie tekstu • Wymagania: model rozumienia tekstu ma być weryfikowalny empirycznie 28 z 52

29. Komputerowa analiza języka (2) • Stosunek pomiędzy poziomami • Formalno-składniowym • Semantycznym • Pragmatycznym • Składnia formalna jest podporządkowana semantyce • Założenia kompozycyjności • Znaczenia komponentów wyznacza sposób rozumienia zbudowanej z nich całości • Zadaniem analizy formalno-składniowej jest dostarczanie odpowiedniej segmentacji • Owo „wyznaczanie” powinno być obliczalne i praktycznie realizowalne komputerowo 29 z 52

30. Komputerowa analiza języka (3) • Poprawność formalno-składniowa • Nie oznacza poprawności znaczeniowej (algorytm wyznaczający znaczenie nie musi skończyć się sukcesem) • Odwołuje się do pewnej jawnej normy • Poprawność semantyczna • Zdanie poprawne składniowo, ale nie zawsze • Algorytm wyznaczający znaczenie pracuje w rzeczywistości (aktualnej lub potencjalnej, np. modelu w sensie matematycznym) • Algorytm wyznaczający znaczenie kończy się sukcesem • Reguły semantyczne (semantyczno-składniowe) 30 z 52

31. Komputerowa analiza języka (4) • Poprawność pragmatyczna • Sytuacja (akcja mowy) • Związek bodziec – reakcja • Związek między zdaniami (wypowiedziami) a spodziewanymi skutkami wypowiedzeń • Zasięg szerszy niż poprawność składniowa lub semantyczna • Odnosi się do wszystkich wypowiedzeń, nie tylko do zdań 31 z 52

32. Semantyka (1) • ustalenie co jest znaczeniem konkretnego wyrażenia w języku naturalnym • nazwy obiektów, relacji między nimi, ... • sieci semantyczne wskazujące na hierarchię i pokrewieństwo terminów • ustalenie sposobu reprezentowania znaczenia • określenie niezbędnego zakresu wiedzy pragmatycznej • określenie zasad wnioskowania 32 z 52

33. Semantyka (2) • Reprezentacja znaczenia • W jaki sposób można reprezentować semantykę języka naturalnego, czyli jakie mechanizmy formalne można w tym celu wykorzystać (zdefiniować)? • W praktyce może to być „cokolwiek”, co odpowiada praktycznym potrzebom programu dokonującego interpretacji semantycznej • Kiedy potrzebna jest semantyka: • odpowiedzi na pytania • ustalenie, czy dane zdanie jest prawdziwe • wnioskowanie • itd. 33 z 52

34. Semantyka (3) • Niejednoznaczności • Struktura składniowa (i znaczenie) • Pacjent opuścił salę operacyjną w dobrym stanie • „nawiasowanie” negacji • Nie zrobisz tego? Nie (nie zrobię albo właśnie, że zrobię) • kwantyfikacja • Każdy chce mieć piękny samochód. (każdy inny) • Każdy chce wygrać szczęśliwy los. (ten jedyny) • wiązane zaimków • Jan kazał Piotrowi wyczyścić swoje buty. 34 z 52

35. Semantyka (4) • Rachunek predykatów I rzędu • „Naturalną” metodą reprezentowania semantyki jest rachunek predykatów I rzędu • Nie jest to idealny sposób zapisu, nie pozwala na wyrażenie wszystkich znaczeń, ale ma wiele właściwych cech: • pozwala zapisać czy jakiś fakt jest prawdziwy czy fałszywy • pozwala zapisywać pytania (użycie zmiennych) • są metody wnioskowania • Wybór rachunku pred. I rzędu nie jest całkowicie arbitralny czy sterowany konkretnymi aplikacjami. Można zauważyć pewne analogie między językiem naturalnym a językiem rachunku predykatów. • Cechy rachunku pred. I rzędu: wprowadzenie zmiennych, użycie kwantyfikatorów, częściowo kompozycyjna semantyka 35 z 52

36. Semantyka (5) • Predykatywno-argumentowy model zdania • Nawet dość pobieżna analiza wykazuje, że struktura predykatywno-argumentowa dobrze oddaje znaczenie wielu elementów języka naturalnego. • W szczególności niektóre typy słów w łatwy sposób można przetłumaczyć na predykaty, podczas gdy inne pełnią funkcje ich argumentów: • słowa kojarzone z predykatami: • czasowniki (frazy czasownikowe), przyimki, przymiotniki, niektóre czasowniki • słowa kojarzone z argumentami: • rzeczowniki (frazy rzeczownikowe) 36 z 52

37. Semantyka (6) • Tematyczno-rematyczny model zdania • Funkcjonalna perspektywa wypowiedzi • inaczej: Aktualne rozczłonkowanie wypowiedzi • Temat: punkt wyjścia jako informacja znana • Remat: cel wypowiedzi, wprowadzenie nowej informacji 37 z 52

38. Przykład zapisu znaczenia • Przykład: Jan dał Marii książkę. Tłumaczenie „bezpośrednie”: Dać(Jan, Maria, książka) „Lepsze” (dokładniejsze) tłumaczenie (należy stosować ten sposób) : czasownik decyduje o nazwie predykatu, liczbie i roli jego argumentów, ‘dać’ oznacza więc: w,x,y,z Giving(x)  Giver(w, x)  Givee(y, x)  Given(z, x) x,y Giving(x)  Giver(Jan, x)  Givee(Maria, x)  Given(y, x)  Isa(y, książka) Różnica między zapisem rzeczowników ‘Jan’ i ‘książka’ to różnica interpretacji rzeczowników własnych i pospolitych 38 z 52

39. Analiza semantyczna (1) • Analiza semantyczna to proces przekształcenia wyrażenia lingwistycznego w zapis jego znaczenia • Są miliony sposobów dokonania takiego przekształcenia, od rozwiązań całkowicie ad hoc, opracowanych na potrzeby konkretnych aplikacji do wyrafinowanych metod teoretycznych o często wątpliwym znaczeniu praktycznym • Większość metod analizy semantycznej opiera się na wynikach analizy syntaktycznej (albo jest dokonywana równolegle z nią) 39 z 52

40. Analiza semantyczna (2) • Funkcyjne rozszerzenia reguł gramatyki. • Dwie strategie budowy interpretacji semantycznej: • Tak jak w przypadku unifikacji - rozszerzenie algorytmu parsowania (np. Earley’a) tak, by dla całkowicie rozpoznanych składników (kropka na końcu reguły) tworzyła się interpretacja semantyczna, • Przypisanie interpretacji po zbudowaniu całego drzewa rozbioru 40 z 52

41. DRT - Discourse Representation Theory • metoda reprezentacji znaczenia wypowiedzi polegająca na konstruowaniu specjalnej struktury, nazwanej DRS (Discourse Representation Structure); Kamp i Reyle (1991); • Struktura ta składa się z dwóch części: • zbioru obiektów (discourse referents), zwanych uniwersum, • zbioru warunków opisujących zależności między obiektami. • Przykładowo, zdanie Jones owns Ulysses (Jones posiada Ulissesa) można przedstawić w postaci następującej struktury DRS: x y Jones (x) Ulysses(y) [x owns y] 41 z 52

42. Relacja między DRT a logiką I rzędu • Można dokonać tłumaczenia DRS na formuły logiki • Warunki prawdziwości określone dla DRT są podobne jak dla logiki I rzędu • DRT • dodaje strukturę wewnętrzną • wykorzystuje tę strukturę do określania powiązań anafor • inne rozwiązanie: Montague Grammar 42 z 52

43. Role i Reference Grammar • Gramatyki przypadków Fillmora (1968) • Czynność • Subiekt • Obiekt • Adresat • Miejsce • Czas itd. • Role i Reference Grammar (RRG) – Van Valin (1993) • Źródło – gramatyki przypadków Role składniowe – nie są uniwersalne • Ukierunkowana na dyskurs • Role semantyczne – uniwersalne • Szczególna uwaga – operatorom predykatu: aspekt, modalność itp. 43 z 52

44. Gramatyki kognitywne (1) • Lingwistyka kognitywna - paradygmat językoznawstwa zakładający, że język jest ściśle powiązany z umysłowymi procesami dotyczącymi postrzegania świata 44 z 52

45. Gramatyki kognitywne (2) Niektórzy przedstawiciele dziedziny • W Polsce: • Tomasz Krzeszowski • Aleksander Szwedek • Elżbieta Tabakowska, • Jolanta Antas, • Henryk Kardela, • Roman Kalisz • Na świecie • Ronald Langacker • George Lakoff • Mark Johnson • Paul Kay • Mark Turner • Georges Kleiber • John R. Taylor 45 z 52

46. Gramatyki kognitywne (3) • Literatura • George Lakoff i Mark Johnson Metafory w naszym życiu • Georges Kleiber Semantyka prototypu • John R. Taylora Kategoryzacja w języku • Ronald Langacker Wykłady z gramatyki kognitywnej • George Lakoff Women, Fire and Dangerous Things • Mark Johnson The Body in the Mind • Ronald Langacker Foundations of Cognitive Grammar • Podręcznik: "Kognitywne podstawy języka i językoznawstwa" red. Elżbieta Tabakowska, Universitas, Kraków 2001 46 z 52

47. Ontologia Pojęcie modelu ontologii można zdefiniować jako uporządkowaną trójkę O = <X, R, F>, gdzie • Xjest skończony niepusty zbiór konceptów (pojęć, terminów) dziedziny problemu, którą reprezentuje ontologia O • Rjest skończony zbiór relacji między konceptami (pojęciami, terminami) • Fjest skończony zbiór funkcji (operacji) zdefiniowanych na Xi/lub R 47 z 52

48. Ontologia c.d. • Gramatyka opisów poszczególnych bytów • Nazwy i znaczenia nazw obowiązujących w ramach danej dziedziny (np. co oznaczają słowa „drukarka", „sprzęt", itd.) • Ograniczenia związanych z opisywanymi bytami • Metadane związanych z bytami • Dopuszczalne operacji na bytach W tym zakresie zapis ontologii jest pewną meta-bazą danych, w które ustala się zarówno strukturę samej bazy danych, jak i pewne dodatkowe informacje (meta-atrybuty) będące podstawą przetwarzania bazy danych 48 z 52

49. — metaontologia Wyniki analizy tekstu ontologia zadań — ontologia dziedziny Ontologia c.d. Powiązanie systemów ontologicznych 49 z 52

50. Ontologia c.d. Opracowanie ontologii: • Wybór bazy danych • Wybór relacji • Opracowanie sieci pojęć • Opracowanie maszyny wyszukiwania 50 z 52