Метод выделения словаря моделей управления для глаголов русского языка

1. Метод выделения словаря моделей управления для глаголов русского языка Эдуард Клышинский Наталия Кочеткова МИЭМ НИУ ВШЭ Белгород 17.10.2012

2. Глагольное управление Мама мыла щетку щеткой Мальчик нес щенка к щенку. Мальчик нес еду щенку. Но не Мама мыла щетке щетках Мальчик нес щенки превыше щенков.

3. Глагольное управление Ехать на поезде на верхней полке на юг на конференцию на свой доклад на две недели на казенные деньги. Семантика тоже играет свою роль.

4. Зачем используется глагольное управление и сочетаемость? • Проверка корректности автоматического анализа/синтеза текста. • Снятие неоднозначности текста. • Собственно синтаксический анализ. • …

5. Что было до этого? • КустоваГ. И., Толдова С. Ю. Семантические фильтры для разрешения многозначности в Национальном корпусе русского языка: глаголы // Компьютерная лингвистика и интеллектуальные технологии. Труды международной конференции «Диалог-2008». М, 2008. С. 522–529. • Гельбух А. Разрешениесинтаксическойнеоднозначности и извлечениесловарямоделейуправленияизкорпусатекстов// Искусственныйинтеллект№2, 1999 • …

6. Что уже есть? • Словарь сочетаемости слов русского языка / Под ред. П. Н. Денисова, В. В. Морковкина. 3-е изд., испр. М., АСТ, 2002. 816 с. – 2500 статей • Бирюк О.Л., Гусев В.Ю., Калинина Е.Ю. Словарь глагольной сочетаемости непредметных имен русского языка - http://dict.ruslang.ru/abstr_noun.php – 10000 статей • Большаков И.А., Гельбух А.Ф. Большой электронный словарь как политематический справочник и формирователь запросов к Интернету // Материалы международной конференции «Диалог 2011», 2011 г. сс. 124-134. – 6,93 млн. сочетаний

7. Что необходимо? • Модель управления для глаголов вида глагол+предлог+падеж – 25 000 глаголов, около 500 000 сочетаний вида глагол+предлог+разрешенные падежи • Словарь сочетаемости слов русского языка – несколько десятков миллионов сочетаний вида глагол+предлог+существительное

8. Что уже есть? • Гельбух А. Разрешение синтаксической неоднозначности и извлечение словаря моделей управления из корпуса текстов // Материалы VIII Международной конференции KDS-99 • Automatic Acquisition of a Large Subcategorization Dictionary from Corpora // In Proc. of the 31st Meeting of ACL, pp. 235–242 • Messiant C., Korhonen F., Poibeau T. LexSchem: A Large Subcategorization Lexicon for French Verbs // In Proc. of LREC 2008 • Preiss J., Briscoe T., Korhonen A. A System for Large-Scale Acquisition of Verbal, Nominal and Adjectival Subcategorization Frames from Corpora // in Proc. of the 45 Annual Meeting of the Association of Computational Linguistics, pages 912-919

9. Что мешает? • Большой объем работ → нужна автоматизация • Большой уровень омонимии → нужно применять синтаксис или снятие неоднозначности • Синтаксис пока не так хорош → или мы теряем качество, или объем

10. Гипотеза Если: • взять достаточно много текстов; • рассматривать только однозначные слова; • брать строго определенные группы, то можно автоматически получить достаточно большой словарь синтаксической сочетаемости.

11. Использованные тексты

12. Омонимия в русском языке

13. Разбираемые конструкции Прилагательное существительное глагол Глагол предлог существительное Деепричастие предлог существительное (и другие) Черная кошка забежала в дом. В дом быстро забежали две черные кошки .

14. Словарь сочетаемости • Из текстов извлечены указанные конструкции, составленные из слов, однозначных по части речи (не параметрам и не нормальным формам!). состоятся вечера приглашает на концерт исполнят произведения состоится встреча примут участие откроется выставка

15. Словарь сочетаемости 2. Слова приводятся к начальной форме, после чего считается статистика употреблений ПРИГЛАШАТЬ;НА;КОНФЕРЕНЦИЯ;218 ПРИГЛАШАТЬ;НА;КОНЦЕРТ;281 ПРИГЛАШАТЬ;НА;КОНЬЯК;3 ПРИГЛАШАТЬ;НА;КОРАБЛЬ;17 ПРИГЛАШАТЬ;НА;КОРДОН;3 ПРИГЛАШАТЬ;НА;КОРОНАЦИЯ;6

16. Словарь сочетаемости

17. Словарь глагольного управления 3. Существительные, присоединенные к глаголу, могут быть неоднозначны по падежу. Оставляем конструкции с однозначными существительнымии переходим к записям вида глагол+предлог+падеж. Считаем частотность таких конструкций. ПРИГЛАШАТЬ;К;0*0*8950*21*17*5 ПРИГЛАШАТЬ;КО;0*0*489*0*0*0 ПРИГЛАШАТЬ;КРОМЕ;0*9*0*0*0*0 ПРИГЛАШАТЬ;НА;0*0*0*30707*0*89 ПРИГЛАШАТЬ;НАД;0*0*0*0*21*0 ПРИГЛАШАТЬ;НАСЧЕТ;0*17*0*0*0*0

18. Словарь глагольного управления После некоторой обработки с целью повышения качества мы получили около 425 000 подобных сочетаний (сюда включены и составные предлоги).

19. Словарь глагольного управления(плюсы) Теперь мы знаем не только какие глаголы встречаются с какими предлогами, но и какие падежи возможны с данным предлогом (если их может быть несколько) В;0*0*0*17881478*0*32320774 АННИГИЛИРОВАТЬ;В;0*0*0*13*0*129 но АНИМИРОВАТЬСЯ;В;0*0*0*0*0*5 АНЕКСИРОВАТЬ;В;0*0*0*0*0*25 АУКНУТЬ;В;0*0*0*17*0*0

20. Словарь глагольного управления(минусы) Узус значительно отличается от грамматики АДАПТИРОВАТЬСЯ;В;0*0*0*93*0*1925 адаптироваться в жизнь Но при этом АННИГИЛИРОВАТЬ;В;0*0*0*13*0*129 Аннигилировать в пыль в космосе

21. Словарь глагольного управления(минусы) В словаре не появились, например, «нести»+ взамен вкось вкруг внутри … Потому что нести что-то взамен/вкруг/внутри чего-то

22. Что мы еще умеем • Адъективное управление Довольный ответом • Прил+сущ/прил+сущ Московский военный оркестр против Московская сторожевая оркестра но Известный ученый кот против Известного ученого Иванова Но фильтры помогают восстановить истину

23. Чего мы не умеем • Сущ+сущ (дат.п.) Посвятить памятник Пушкину • Работа с местоимениями (оно может делать что угодно) • Работа с семантикой (ехать на юг на конференцию)

24. Другие языки Мы взялиновости Reuters за 2007 год. Анализ проводился при помощи nltkсо снятием неоднозначности. Из примерно 120 млн словоупотреблений было выделено 1,2 млн различных сочетаний. Результат сопоставим с полученным для русского языка без снятия омонимии.

25. Спасибо за внимание!