1 / 11

Автоматическая обработка ЕЯ (обработка текста)

Автоматическая обработка ЕЯ (обработка текста). 2 курс. План. Примеры интеграции NLP в различные системы обработки контента Этапы лингвистической обработки Примеры лингвистических платформ. Примеры. Яндекс OpenCalais http://viewer.opencalais.com/ News360.com

inara
Download Presentation

Автоматическая обработка ЕЯ (обработка текста)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Автоматическая обработка ЕЯ(обработка текста) 2 курс

  2. План • Примеры интеграции NLP в различные системы обработки контента • Этапы лингвистической обработки • Примеры лингвистических платформ

  3. Примеры • Яндекс • OpenCalaishttp://viewer.opencalais.com/ • News360.com • http://translate.google.cn/?hl=en#en/ru/ • Что еще???

  4. Этапы • Распознавание языка • Графематический анализ • Разбиение на предложения • Токенизация • Морфологический анализ • Частичный синтаксический / синтаксический анализ • Приписывание семантических ролей (semantic role labeling) • Распознавание анафоры (установление кореференции) • Дискурсивный анализ • Распознавание именованных сущностей

  5. Графематический анализ • Лектор: канд. физ.-мат. наук Турдаков Денис Юрьевич. • Технические вопросы: Бабаков Александр Валентинович. • Спецкурс будет проходить по пятницамв 18.00 в ауд. П-6 во 2-м учебном корпусе МГУ. • Аннотация • Спецкурс предназначен для студентов 3-5 курсов, желающих получить знания и практические навыки в области обработки текстовой информации. Курс знакомит слушателей с основными проблемами компьютерной обработки текстов и современными подходами к их решению.

  6. Графематический анализ АОТ • Разделение входного текста на слова, разделители и т.д. • Сборка слов, написанных в разрядку; • Выделение устойчивых оборотов, не имеющих словоизменительных вариантов; • Выделение ФИО (фамилия, имя, отчество), когда имя и отчество написаны инициалами; • Выделение электронных адресов и имен файлов; • Выделение предложений из входного текста; • Выделение абзацев, заголовков, примечаний.

  7. Морфологический анализ • ruscorpora.ru • aot.ru • http://cst.dk/online/pos_tagger/uk/

  8. Морфологический анализ • Лемматизация • Частеречная разметка • Морфологический анализ • Снятие омонимии

  9. Синтаксический анализ • testsynt.soiza.com • Connexor • VISL • http://nlp.stanford.edu:8080/parser/

  10. Semantic role labeling • http://cogcomp.cs.illinois.edu/demo/srl/ • aot.ru

  11. Некоторые NLP ресурсы • http://nlpub.ru/wiki/%D0%97%D0%B0%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F_%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B8%D1%86%D0%B0 • http://beta.visl.sdu.dk/ • http://www.connexor.com/nlplib/?q=demo • http://www-nlp.stanford.edu/links/statnlp.html

More Related