Автоматический морфологический анализ Алгоритмические методы (без обучения) Часть 2

1. Автоматический морфологический анализ Алгоритмические методы (без обучения) Часть 2

2. План Задачи, этапы (лекция Морфология1) Обзор технологий Организация данных Первичный анализ. Базовые формализмы анализа словоформы Разрешение омонимии Предсказание незнакомых слов

3. План Задачи, этапы (лекция Морфология1) Обзор технологий Организация данных Первичный анализ. Базовые формализмы анализа словоформы Разрешение омонимии Предсказание незнакомых слов

4. Задачи морфологического анализа Графематический анализ (токенизация): текстоформы, «неслова» («шаблоны», числа и т.п.), токены из списка (предлоги, союзы и т.п.) нормализация словоформ (лемматизация), т.е. сведение различных словоформ к некоторому единому представлению - к исходной форме, или лемме); стемминг - другой вид нормализации, когда разные словоформы приводятся к одной основе, точнее "псевдооснове" (для некоторых задач, включая поиск в интернете, достаточно приведения к одной основе различных дериватов; например, прилагательное фотографический и существительное фотография могут быть приведены к одной основе, так как пользовательскому запросу будут удовлетворять и документы, содержащие словосочетание фотографический портрет, и документы, содержащие словосочетание портретная фотография)

5. Задачи морфологического анализа частеречная аннотация (pos-tagging), т.е. указание части речи для каждой словоформы в тексте) полный морфологический анализ - приписывание грамматических характеристик словоформе (например, в цепочке словоформ по берегу реки словоформе берегу будут приписаны следующие грамматические характеристики: сущ., неодушевленное, мужского р., единственного числа, дательного падежа) дизамбигуация - разрешение морфологической омонимии (например, ) Основные проблемы, связанные с любым типом морфологического анализа - это морфологическая омонимия (ср. предложение Эти типы стали есть в цехе, где стали может быть формой глагола стать и формой существительного сталь), а также существование новых, редких слов или окказионализмов.

6. Основные этапы морфологической разметки в BNC

7. План Задачи, этапы (лекция Морфология1) Обзор технологий Организация данных Первичный анализ. Базовые формализмы анализа словоформы Разрешение омонимии Предсказание незнакомых слов

8. Краткий обзор основных методов разметки

10. Морфологическая разметка: Технологии морфологической разметкиТеория vs. практика • В 60-70 гг. все экспериментальные исследования в области машинной морфологии начинались с создания машинного словаря. Не было единого общепринятого формата и структуры такого словаря. • Эти обстоятельства имели два последствия: • во-первых, все алгоритмы автоматически становились словарнозависимыми, • во-вторых, каждый алгоритм разрабатывался под определенный формат словаря. • Работы, посвященные морфологии, можно условно разделить на две категории: • 1. теоретические, в некоторых представлены описания морфологических законов и формальные модели русской морфологии; • 2. прикладные, описание програмно-реализованных систем с морфологическим модулем.

11. Морфологическая разметка: Технологии морфологического анализа Теоретический vs. Инженерный подход В теоретических работах строятся многоуровневые формальные модели морфологии, в большинстве своем, предназначенные для синтеза. Такие модели морфологического синтеза подразумевают наличие больших словарей со сложной структурой. Они описывают широкий круг морфологических явлений. Многие компоненты этих моделей избыточны для задач машинного анализа (фонетическая реализация слова, акцентная парадигма, большое число словообразовательных аффиксов).

12. Морфологическая разметка: Технологии морфологической разметки. Вопросы архитектуры. . • Данные: • контекст vs. • информация о внутренней структуре словоформы • и о словоизменительных парадигмах • словарные методы vs. методы без словаря • Словарь: • что в словаре? • структура словаря? • Методы анализа • формализм • правила vs. статистика • Работа с незнакомыми словами: • правила предсказания ??? словарь

13. План Задачи, этапы (лекция Морфология1) Обзор технологий Организация данных Первичный анализ. Базовые формализмы анализа словоформы Разрешение омонимии Предсказание незнакомых слов

14. ДанныеКонтекст. Пример • Контекст: • The flights can fly • Det N V(mod) V(inf) • Что нужно знать? • набор тегов (частеречный (N,V…) vs. простой (Nsg) vs. полный – Ncmsnn: Noun Type=common Gender=masculine Number=singular Case=nominative Animate=no) • набор словоформ (ручкой – ручка, N; ручке – ручка, N …) • возможные порядки тегов (NVN, NVV vs. *DV… • из + Gen / * из + Case≠Gen) • частоту порядков • …. подробности позже • Словарь может состоять из списка всех возможных словоформ

15. ДанныеВнутренний состав словоформы. Пример

16. НЕОПТИМИЗИРОВАННАЯ ФУНКЦИОНАЛЬНАЯ СХЕМАобработки словоформы при машинном переводе

17. ОБРАБОТКА СЛОВОФОРМЫ:морфологический анализ

18. ПОРОЖДЕНИЕ СЛОВОФОРМЫ:морфологический синтез

19. ПОРОЖДЕНИЕ СЛОВОФОРМЫ:морфологический синтез

20. ПОРОЖДЕНИЕ СЛОВОФОРМЫ:морфологический синтез

21. МОРФОЛОГИЧЕСКИЙ АНАЛИЗ и ЛЕММАТИЗАЦИЯ

22. МОРФОЛОГИЧЕСКИЙ СИНТЕЗ иПОРОЖДЕНИЕ ПАРАДИГМЫ

23. ЕСТЬ ЛИ ДОСТАТОЧНАЯ ПРЕДСКАЗУЕМОСТЬ? • дневн(ой) дневник • вечерн(ий) вечерник • ночн(ой) ночник • утренн(ий) утренник

24. ЕСТЬ ЛИ ДОСТАТОЧНАЯ ПРЕДСКАЗУЕМОСТЬ? АНАЛИЗ:

25. ЕСТЬ ЛИ ДОСТАТОЧНАЯ ПРЕДСКАЗУЕМОСТЬ? СИНТЕЗ:

26. СЛОВОИЗМЕНЕНИЕ И СЛОВООБРАЗОВАНИЕ Внутренний смысл противопоставления: • варианты одной лексической единицы или разные лексические единицы Подходы в теоретической морфологии: • 28 «элементарных различий» словоизменения и словообразования по Ф.Планку • 15 критериев противопоставления лексического и грамматического у Н.В.Перцова • вхождение/невхождение в категории противопоставленных единиц и обязательные категории; • коррелятивность; • композиционность; и т.д.

27. СЛОВОИЗМЕНЕНИЕ И СЛОВООБРАЗОВАНИЕ Внутренний смысл противопоставления: • варианты одной лексической единицы или разные лексические единицы Технические критерии противопоставления: • при анализе • композиционность: словоформа без остатка разбивается на формальные показатели (знаки), значение формы без остатка раскладывается на значения этих показателей • при синтезе • регулярность (коррелятивность): лексические единицы разбиты на (достаточно большие) классы, и для каждого класса известен набор возможных словоформ, а также правила, по которым их можно строить

28. СЛОВОИЗМЕНЕНИЕ И СЛОВООБРАЗОВАНИЕ Технический критерий позволяет подключить к явлениям словоизменения (для русского языка): • образование существительных от прилагательных • образование существительных (имен действия и имен деятеля) от глаголов • образование уменьшительных существительных Более осторожный термин С.А.Крылова и С.А.Старостина для таких явлений – «номинационное формообразование» (2003)

29. СЛОВОИЗМЕНЕНИЕ И СЛОВООБРАЗОВАНИЕ Общий вывод для компьютерной морфологии: Класс явлений словоизменения может быть расширен, нужно только исчерпывающее и объективное описание • указать класс лексем, которые подвергаются такому варьированию (образуют уменьшит./ аугментатив. форму и т.п.) • указать правила варьирования для каждой лексемы из класса достаточно экономным образом Но следует учитывать • фактор практической целесообразности с учетом функции конкретной компьютерной системы

30. ФОРМАЛЬНЫЙ РАЗРЯД В КОМПЬЮТЕРНОЙ МОРФОЛОГИИ учитель, соболь, егерь… (типовая парадигма, морфологический тип)

31. ОДНА ПАРАДИГМА ИЛИ БОЛЬШЕ?

32. СТРУКТУРА СЛОВАРНОЙ БАЗЫ ДАННЫХ

33. СТРУКТУРА СЛОВАРНОЙ БАЗЫ ДАННЫХ

34. ПЕРВИЧНЫЕ И ВТОРИЧНЫЕ ФУНКЦИИ (ПРОЦЕДУРЫ) В КОМПЬЮТЕРНОЙ МОРФОЛОГИИ

35. ПРОЦЕДУРА ОПРЕДЕЛЕНИЯ ТИПОВОЙ ПАРАДИГМЫ • если слово оканчивается на щийся, то ТП 5; • если слово оканчивается на ин, ын, то ТП 20; • если слово оканчивается на ов, ёв, ев, то ТП 21; • если слово оканчивается на цый, то ТП 6; • если слово оканчивается на ый, то ТП 1; • если слово оканчивается на кий, гий, хий, то ТП 3; • если слово оканчивается на щий, то ТП 4; • если слово оканчивается на жий, ший, чий, то ТП 4 или ТП 24; • если слово оканчивается на ий, то ТП 2 или ТП 24; • если слово оканчивается на кой, гой, хой, жой, шой, чой, щой, то ТП 8; • если слово оканчивается на ой, то ТП 7.

36. ТИПИЗАЦИЯ ВНУТРИ ПРЕДСКАЗАНИЯ

37. ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ КОДОВ ГСРЯ В МОРФОЛОГИЧЕСКИХ МОДУЛЯХ • Могут быть слишком дробными (для обработки письменного текста) дол м 1е//1а порт м 1е имеют одинаковый набор окончаний клён м 1а • Могут быть недостаточно точными (для некоторых процедур компьютерной морфологии) восстановление начальной формы: бугор м 1*b бугра: (- ра), (+ ор) котёл м 1*b котла: (- ла), (+ ёл) псалом м 1*b псалма: (- ма), (+ ом) сон м 1*b сна: (- на), (+ он) хребет м 1*b хребта: (- та), (+ ет)

38. НЕДОСТАТКИ СЛОВАРЯ ЗАЛИЗНЯКА • сложная структура словоизменительной характеристики • формальная «вседозволенность» (свобода образования форм множественного числа - вреды, зарезы, неонацизмы, кратких форм - бегл, кредитово, соляны, сравнительной степени - тяжелораненее, убитее, изюбревее) • неполнота словника

39. РЕКОМЕНДОВАННАЯ ЛИТЕРАТУРА • Леонтьева Н.Н. Автоматическое понимание текстов: системы, модели, ресурсы. М., 2006 (глава 4, (3)) • Коваль С.А. Лингвистические проблемы компьютерной морфологии. СПб., 2005 • Библиография, собранная С. Нагелем (Sebastian Nagel): http://www.cis.uni-muenchen.de/~wastl/rmorph/rusmorphBib.pdf

40. УПОМЯНУТАЯ ЛИТЕРАТУРА • Перцов Н.В. Инварианты в русском словоизменении. М.: Языки русской культуры, 2001 (глава 2) • Крылов С.А., Старостин С.А. Актуальные задачи морфологического анализа и синтеза в интегрированной информационной среде STARLING // Тр. Междунар. конф. Диалог’2003 (http://www.dialog-21.ru/Archive/2003/Krylov.htm)

41. ДанныеВнутренняя структура словоформы. Пример Входные данные городк”е Результат морфологического анализа: городк” - е

42. ДанныеВнутренняя структура словоформы. Пример Городок | городка |городк”е Морфонологические правила: (1) V -> Ø | __ □ CV (beglie) (2) C тв -> C мягк | __ □ Vпередн ряд (Palatalization) (3) C зв -> C гл | __ □ Сгл (Oglushenie) Обратный пересчет:

43. ДанныеВнутренняя структура словоформы. Пример

44. Данные • Полный список словоформ с их формами • Полная декомпозиция:

45. План Задачи, этапы (лекция Морфология1) Обзор технологий Организация данных Первичный анализ. Базовые формализмы анализа словоформы Разрешение омонимии Предсказание незнакомых слов

46. Формализмы FST (конечные преобразователи – Finite State Trasducers) Порождающая грамматика Язык регулярных выражений

47. Порождающие граммаики упорядоченная четверка , где V и W - непересекающиеся конечные множества, наз. соответственно основным и вспомогательным алфавитами, или словарями (их элементы наз. соответственно основными, пли терминальными, и вспомогательными, или нетерминальными, символам и), - элемент , наз. начальным символом, и - конечное множество правил, имеющих вид , где - цепочки ( слова).в алфавите и не принадлежит ; Rназ. схемой грамматики.

48. ФОРМАЛЬНАЯ (ПОРОЖДАЮЩАЯ) ГРАММАТИКА - пример Четверка (V, W, I, R): • V = {а, е, й, к, л, о, у, ы} • W = {Слово, Основа, Окончание} • I = {Слово} • R – множество правил грамматики Правила R : • Слово Основа Окончание • Основа к у к л • Окончание а • Окончание ы • Окончание у • Окончание е • Окончание о й

49. ВЫВОД В ФОРМАЛЬНОЙ ГРАММАТИКЕ Правила R : • СловоОснова Окончание • Основа к у к л • Окончание а • Окончание ы • Окончание  у • Окончание е ВЫВОД: Слово(1) Основа Окончание(2) к у к лОкончание(6) к у к л о й

50. Основные формализмыFST Один из наиболее распространенных Finite State Transducer (Конечные преобразователи) Конечный автомат — абстрактный автомат без выходного потока, число возможных состояний которого конечно. Результат работы автомата определяется по его конечному состоянию.