1 / 27

Szintaktikai elemzés

Szintaktikai elemzés. 2010. február 23. Szófaji egyértelműsítés. A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő.

bryson
Download Presentation

Szintaktikai elemzés

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Szintaktikai elemzés 2010. február 23.

  2. Szófaji egyértelműsítés A morfológiai elemző előállítja az egyes szavak összes lehetséges elemzését. Ezután az egész mondatot figyelembe véve kiválasztjuk a lehetséges elemzések közül a megfelelőt. Part of Speech Tagger (POS) – szófaji egyérteműsítő

  3. Szintaktikai elemzés A mondat egységeinek azonosítása, a közöttük lévő szintaktikai kapcsolatok feltárása. Megközelítések: • alany, állítmány, tárgy … • konstituens fa (constituencyparsing) • függőségi nyelvtan (dependency parsing)

  4. Alkalmazás • Információ kinyerés, gépi fordítás A Kis Hal bt.-t felvásárolta a Nagy Hal kft. A Kis Hal bt. felvásárolta a Nagy Hal kft.-t. • Nyelvtani ellenőrzés

  5. Nyelvtan • „Egy nyelv elemei, szerkezete, törvényszerűségei” • 3 évesen tökéletes az anyanyelven • Implicit! • Iskolai nyelvtan?

  6. Konstituens fa • Szavak csoportjai (eredeti sorrendben) egységeket alkotnak • Az egységek osztályokba sorolhatóak amelyek külső és belső szempontokból jól definiáltan viselkednek. Például főnévi csoportok: én, a város, a piros labda, a tegnapelőtt vásárolt nagy kerek piros labda

  7. Konstituens fa S: mondat VP: igei csoport NP: főnévi csoport Egy példa a Szeged TreeBank-ből

  8. Strukturális többértelműség Láttam a lányt távcsővel. S VP NP

  9. Strukturális többértelműség Láttam a lányt távcsővel. S VP NP NP

  10. Környezetfüggetlen nyelvtanok (CFG) • Terminálisok: szavak • Nemterminálisok: konstituensek • Szabályok: baloldal egyetlen nemterminális

  11. Szintaktikai elemzés • Adott szabályok egy halmaza • S a gyökér • Minden szót fedjen le és csak azokat • Top-Down vs. Bottom-Up

  12. S NP VP Det N V NP Det N Bottom-Up elemzés a dog has a bone

  13. PCFG • Minden szabályhoz egy valószínűség (baloldalak feletti eloszlások) • Treebankből becsülhető • Strukturális többértelműség?

  14. Shift Reduce elemzés • Bottom – Up, backtrack nélkül • Verem segítségével dolgozik, O(n) • Shift: Leválasztja a mondat legbaloldalibb elemét, és a verembe teszi. • Reduce: A veremben lévő elemekre próbál szabályt illeszteni.

  15. Shift Reduce elemzés →| Step Action Stack Input 0 (start) the dog barked 1 shift the dog barked 2 reduce d dog barked 3 shift dog d barked 4 reduce n d barked 5 reduce np barked 6 shift barked np 7 reduce v np 8 reduce vp np 9 reduce s

  16. Shift Reduce tanulás Tanító halmaz alapján: • reduce szabályok generálása • szabályok közötti sorrend felállítása (mohó, valószínűségi) • akciók (S/R) alkalmazásának tanulása

  17. Megkötések ’hány -t’ – fitty ’hány -rA’ – szem ‘hány -nAk’ !?

  18. Fej azonosítása

  19. Függőségi nyelvtan • Irányított, bináris kapcsolat szavak közt • Minden szóhoz pontosan egy bemenő él (fa) • Kiindulási pont a főige Eltérés a konstituens fától: • Nincsenek frázisok, • nem csak az egymást követő szavak közti kapcsolatokat vizsgálja.

  20. Függőségi nyelvtan Különösen alkalmas szabad szórendű nyelvek kezelésére!

  21. Dependecia elemző tanulása • Tranzakció-alapú • Minden lépésben egy új él felvétele • Osztályozási probléma: • egyedek: szópárok • jellemzők: szavak, POS kódok • akció: új él behúzása vagy semmi • Gráf-alapú • Jósági függvény • Legjobb gráf megtalálása

  22. Gráf-alapú dependencia elemzés • Jósági függvény • Él szintű jósági értékek aggregáltja • Él szintű érték: gyerek és szülő, szavak és POS kódok • Paramétereinek megtanulása a tanító adatbázisból • Legjobb gráf megtalálása • Maximális feszítő fa • Dinamikus programozás

  23. Konstituens vs. függőségi nyelvtan Főige: robbed alany: the burglar robbed tárgya: the appartament

  24. Konstituens vs. függőségi nyelvtan • Melyiket? Alkalmazás-orientáltan… • függőségi nyelvtan könnyebben gépi tanulható • szemantikához közelebb áll a függőségi

  25. Szintaktikai elemzés jóságának mérése • Konstituens elemzés • Minden konstituenst hasonlítunk (címkézve vagy anélkül) • Egyes szavak őseinek sorozatát hasonlítjuk • Dependencia elemzés • minden szóra • ős és/vagy reláció típusának eltalálása

  26. Hol tart a világ? • Korpuszok • Konstituens alapú korpuszok (Penn TreeBank, Szeged TreeBank) • Ezek átalakítása dependenciára • Magyarra is folyamatban • Elemzők • Nyelvtől, jelölés mélységétől függ • ~75-85% (CoNLL 2007)

More Related