Отношения в информационно-поисковых ресурсах: альтернативы

1. 10.1. Информационно-поисковые тезаурусы в условиях сверхбольших электронных коллекций и автоматической обработки текстов. Тезаурус для автоматического концептуального индексирования как особый вид тезауруса

2. Отношения в информационно-поисковых ресурсах: альтернативы • Традиционный информационно- поисковый тезаурус:выше-ниже, ассоциация • Ассоциации – невозможно использовать в автоматической обработке • Лингвистические исследования: наборы семантических ролей • Наборы разные для разных областей • часто сложно поставить точное отношение, как использовать различные отношения

3. Современные подходы к описанию отношений при разработке онтологий • отношения – произвольный предикат, свойства задаются аксиомами • P(x1,…xn) • Для того, чтобы такая система отношений работала, нужно стабильно находить отношения в разнообразных текстах • Но это проблема! • Аргументы могут оказаться далеко друг от друга в тексте, между ними может быть другое отношение или совсем не быть отношений.

4. Наш подход к описанию отношений • Отношения должна иметь максимально четкие правила установления • Отношения должны позволять осуществлять вывод по тезаурусу в автоматическом режиме • Ресурс должен начать работать в разумные сроки для неограниченных текстов в сложных предметных областях

5. Надежные отношения • Цель: необходимо использовать отношения, не имея возможности подробно проанализировать контекст упоминания понятия в тексте. • При расширении запроса – это невозможно для текста • Возможности систем автоматической обработки текста для анализа релевантности контекста ограниченны • Необходимо найти и описать для понятия те отношения, которые выполняются для понятия практически всегда: • для всех или большинства примеров понятия • в течение всего (или почти всего) времени существования примера Нужно описывать надежные отношения

6. Родовидовое отношение ВЫШЕ-НИЖЕ • Проверочное правило: Х – это вид У • Береза – это вид деревьев • Дерево – это вид растений • Транзитивное отношение: береза – это растение => можно использовать для выводов • Свойства наследования: свойства вышестоящего наследуются на нижестоящее • Надежное отношение: • Отношение выполняется для всех примеров понятия • Отношение выполняется все время существования примера

7. Между понятиями могут быть отношения, частично нарушающие свойства родовидового отношения Проверочное правило выполняется, но свойства отношения изменились. Проверочная фраза необходимое, но недостаточное условие

8. Отношения, похожие на родовидовое отношение - • Не все свойства вышестоящего наследуются или значения свойств заменяются: мать – приемная мать • Мебель – пианино • Аванс - задаток • Нужно отметить, что с отношением есть проблемы: пометка А – ВЫШЕ_А аспект, точка зрения

9. Семантическое смещение • Река – водный объект – водные ресурсы – вода – вещество??? • Каждая пара соседей может быть подставлена в проверочную фразу • Река, водный объект имеют форму, границы, а вода, вещество – не имеют формы. • Потеря семантического типа • Родовидовое отношение не устанавливается

10. Отношения онтологической зависимости. Формальная онтология. N.Guarino • может ли сущность (С1) существовать сама по себе, или подразумевает существование чего-либо еще (С2): • подразумевает ли существование сущности существование чего-либо какой-либо конкретной сущности (строгая зависимость - rigid dependence), например, кипение (С1) - жидкость (С2); • предполагается ли существование примеров некоторого класса (generic dependence – зависимость по классу) некоторых сущностей, гараж (С1) – автомобиль (С2); • предполагает ли существование С1 в некоторый момент времени t1, существования C2 в некоторый другой момент времени t2 (историческая зависимость): солома (С1) – молотьба С2.

11. Отношения онтологической зависимости и семантические имена ГАРАЖзависит_отАВТОМОБИЛЬ (назначение?) РЕКАзависит_от ПРЕСНАЯ ВОДА (часть?) ГИДРО-ЭЛЕКТРОСТАНЦИЯ зависит_от РЕКА (источник?) ЛЕСзависит_от ДЕРЕВО (часть?) ЛЕСНИЧЕСТВОзависит_от ЛЕС (место?) КИПЕНИЕзависит_отЖИДКОСТЬ (пациенс?) Семантические названия отношениям концептуальной зависимости придумать непросто, и они были бы достаточно разнообразны

12. Лес: части • БУРЕЛОМ (ВЕТРОВАЛ; БУРЕЛОМНЫЙ) • ГРУППА ЛЕСА • ЗАРОСЛЬ (ЗАРОСЛЕВЫЙ) • ЛЕСНАЯ КУЛЬТУРА (ЛЕСНАЯ ПОРОДА; ЛЕСОХОЗЯЙСТВЕННАЯ КУЛЬТУРА) • ЛЕСНАЯ ПОЧВА (ЛЕСНАЯ ПОДСТИЛКА) • ЛЕСНЫЕ ЗЕМЛИ (ЛЕСНЫЕ УГОДЬЯ; ЛЕСНАЯ ТЕРРИТОРИЯ; ЛЕСОРАСТИТЕЛЬНЫЙ РАЙОН; ЛЕСОРАСТИТЕЛЬНАЯ ЗОНА; ЛЕСОПОКРЫТЫЕ ПЛОЩАДИ; ЛЕСОПОКРЫТЫЕ ЗЕМЛИ; ЗЕМЛИ ЛЕСНОГО ФОНДА; ЗЕМЛИ, ПОКРЫТЫЕ ЛЕСОМ; ПОКРЫТЫЕ ЛЕСОМ ПЛОЩАДИ) • ОПУШКА (ОПУШЕЧНЫЙ) • ПОДЛЕСОК (ПОДЛЕСОЧНЫЙ) • ПОДРОСТ (МОЛОДНЯК) • ПРОДУКТИВНОСТЬ ЛЕСА (БОНИТЕТ ЛЕСА) • СУХОСТОЙ (СУХОСТОЙНЫЙ)

13. Лес: зависимые понятия • ЛЕСНОЙ ПОЖАР (ЛЕСОПОЖАРНЫЙ; ПОЖАР В ЛЕСУ) • ЛЕСНАЯ НАУКА (НАУКА О ЛЕСЕ) • ЛЕСОВЛАДЕНИЕ • ЛЕСОПОЛЬЗОВАНИЕ (ЛЕСНОЕ ПОЛЬЗОВАНИЕ; ПОЛЬЗОВАНИЕ УЧАСТКАМИ ЛЕСНОГО ФОНДА)

14. Отношения онтологической зависимости и реальные проекты • Отношения строгой и родовой онтологической зависимости • Общественно- политический тезаурус, 1994- по н.в – 28 тысяч понятий • Тезаурус русского языка РуТез – 1997-по н.в. – 45 тысяч понятий – 177 тысяч отношений • АвиаОнтология – 2002-2003 – 1.5 тысячи понятий • Тезаурус по компьютерной безопасности –2001-2004 - 3 тысячи понятий • Онтология по естественным наукам (2004-…)

15. Оценка эффективности поиска по тезаурусу по сравнению с контекстным поиском по векторной модели • Запросы: рубрики из каждого из 20 подразделов Классификатора правовых актов. Пример рубрики «Использование атомной энергии». • Массив документов: Нормативные акты 1990-2001 • Поиск релевантных документов для запроса: Сокращение интервала – просмотр 30-40 документов • Методика оценки: TREC вычисление средней точности в трех точках полноты: 0.2, 0.5, 0.8.

16. Сравнение поисковых механизмов

17. АЛОТ АвтоматизированнаяЛингвистическаяОбработкаТекста

18. Автоматическая обработка текстов на основе Тезауруса Концептуальное индексирование Ранжированный информационный поиск: Тестирование (методика TREC): значительное увеличение полноты при сохранении точности поиска. Интегральная оценка: средняя точность поиска по терминам в 1.2 раза выше. Автоматическая рубрикация текстов - более 10 различных рубрикаторов - количество рубрик от 35 до 3000 - рубрика как сложный запрос Автоматическое аннотирование (summarization) текстов (первое место в номинации «Индикативная аннотация наилучшей длины» конференции по автоматическому аннотированию SUMMAC (1998)) Тематическая аннотация

19. Обработка документов в УИС РОССИЯ источники конверторы Автоматизированная Лингвистическая Обработка Текстов *.HTM *.HDR *.PLM *.OUT *.POD WEB www.cir.ru (Apache; OAS) ORACLE Администр.

20. АЛОТ: основные этапы • Конвертация файлов: формальные характеристики и неиндексируемые фрагменты • Графематический и морфологический анализ • Терминологический анализ: сопоставление с тезаурусом. Терминологический индекс • Разрешение многозначности терминов • Тематический анализ: формирование тематических узлов • Построение тематического представления: основные и локальные тематические узлы. Определение весов терминов • Определение рубрик по заданным рубрикаторам • Построение аннотации

21. Формирование тезаурусной проекции текста • Для понятий текста (в том числе неподвержденных от многозначных текстовых входов) • Из тезауруса выгружаются все непосредственные отношения • устанавливаются те отношения, которые могут быть сведены к одному отношению по свойствам отношений • Получаем «проекцию» тезауруса на текст – сеть понятий сложной формы или совокупность нескольких сетей

22. Разрешение многозначности терминов • Термин => Варианты понятий • Есть ли у понятия отношения с другими понятиями текста в тезаурусной проекции • Есть ли у понятия отношения с другими понятиями тезаурусной проекции в абзаце • Связаны ли варианты понятий между собой –выбирается более высокое по иерархии (заем) • Невыбранное понятие отражается сдвигом • Термин => Понятие с подтверждением (образование)

23. О порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилище военнослужащих и граждан, уволенных с военной службы, Правительство Российской Федерации п о с т а н о в л я е т : 1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы. 2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба: в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем) жилых помещений; расходы, связанные с оказанием военнослужащим безвозмездной финансовой помощи и выплатой денежной компенсации за наем (поднаем) жилых помещений, производить за счет и в пределах средств, выделяемых из федерального бюджета по сметам этих федеральных органов исполнительной власти. 3. Органам исполнительной властисубъектов Российской Федерации: оказывать безвозмездную финансовую помощь в избранном постоянном месте жительства гражданам, уволенным с военной службы, осуществляющим строительство (покупку) жилья, за счет и в пределах средств федерального бюджета, выделяемых на жилищное строительство для этой категории граждан; Покрытие терминологией Тезауруса лексики НА РФ (Постановление Правительства РФ от 26 июня 1995 г. N 604)

24. Определение важности термина • Сопоставление с тезаурусом приводит к распознаванию большого количества терминов в тексте • Необходимо определить значимость термина в тематической структуре текста => поставить вес термина • Можно использовать частотность термина в тексте и в коллекции • Но: термины текста – это не набор независимых элементов, между ними имеются отношения – отражены в тезаурусе

25. Тематические линии терминов Тезауруса(Постановление Правительства РФ от 26 июня 1995 г. N 604) О порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы Во исполнение Закона Российской Федерации "О статусе военнослужащих" и в целях обеспечения прав на жилищевоеннослужащих и граждан, уволенных с военной службы, Правительство Российской Федерации п о с т а н о в л я е т : 1. Утвердить прилагаемое Положение о порядке оказания безвозмездной финансовой помощи на строительство (покупку) жилья и выплаты денежной компенсации за наем (поднаем) жилых помещений военнослужащим и гражданам, уволенным с военной службы. 2. Министерству обороны Российской Федерации и иным федеральным органам исполнительной власти, в которых предусмотрена военная служба: в месячный срок разработать и утвердить формы и перечень документов, необходимых для принятия решения об оказании военнослужащим безвозмездной финансовой помощи на строительство (покупку) жилья и о выплате денежной компенсации за наем (поднаем) жилых помещений; расходы, связанные с оказанием военнослужащим безвозмездной финансовой помощи и выплатой денежной компенсации за наем (поднаем) жилых помещений, производить за счет и в пределах средств, выделяемых из федерального бюджета по сметам этих федеральных органов исполнительной власти. 3. Органам исполнительной власти субъектов Российской Федерации: оказывать безвозмездную финансовую помощь в избранном постоянном месте жительства гражданам, уволенным с военной службы, осуществляющим строительство (покупку) жилья, за счет и в пределах средств федерального бюджета, выделяемых на жилищное строительство для этой категории граждан;

26. Связь локальной и глобальной связности текста • Если мы сформулируем основную тему текста и посмотрим, как в тексте расположены слова, близкие по смыслу элементам основной темы, то мы увидим, что эти совокупности близких по смыслу слова как бы пронизывают весь текст, скрепляют его • Мы, имея тезаурус, можем «увидеть» эти цепочки близких по смыслу слов • Как добраться к основной теме и подтемам документа

27. Тематическая структура текста (van Dijk) • Главная тема текста может быть сформулирована как пропозиция P(C1, …, Cn) • Главная тема уточняется в тексте с помощью подтем P1(C11, …, C1n1), P2(C21, …, C2n2), …, Pm(Cm1, …, Cmnm) • Каждое предложение текста соответствует какой либо подтеме текста • Что такое Cijв подтемах? В каждой подтеме должна быть хотя бы одна ссылка на тему или подтему более высокого уровня

28. Тематические узлы • Для каждого понятия главной темы текст содержит близкие по смыслу понятия, необходимые для ссылки на это понятие в подтемах. • Такая структура выглядит как узел – тематический узел. • «Ниточки» близких по смыслу слов и словосочетаний имеют внутреннюю структуру – узел, когда все элементы цепочки наиболее близки одному центральному понятию.

29. Как найти центры тематических узлов и построить узлы • Предполагаем: центральные понятия тематических узлов должны выделяться среди близких по смыслу понятий – частотность, заголовок. • Тематический узел должен включать близкие по смыслу понятия к центру тематического узла. Как определить близкие по смыслу понятия по тезаурусу? • Естественное определение: понятия, близкие по смыслу к понятию С – это такие понятия, для которых либо установлена прямая связь с понятием С (путь длины 1), либо путь до понятия С может быть сведен к одному отношению путем применения правил по свойствам отношений

30. Сеть тематических узлов (Постановление Правительства РФ от 26 июня 1995 г. N 604) СОБСТВЕННОСТЬ(1) СООРУЖЕНИЕ(1) А ДЕНЬГИ(22) ЗДАНИЕ(1) СТРОИТЕЛЬСТВО(12) ПЛАТИТЬ(1) ЖИЛОЕ ЗДАНИЕ(1) ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО(4) А ПОКУПКА(6) ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ (2) МНОГОКВАРТИРНЫЙ ДОМ(1) ЖИЛОЕ ПОМЕЩЕНИЕ(25) НАНЯТЬ(13) А НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ(13) ЖИЛАЯ ПЛОЩАДЬ(1) КВАРТИРА(2) В В ЖИЛИЩНАЯ НОРМА(2) КОМНАТА (ПОМЕЩЕНИЕ)(1)

31. Как найти главные тематические узлы • Главные тематические узлы – узлы, центры которых находятся в формулировке основной темы текста • Подтемы конкретизируют основную тему, должны раскрывать отношения между элементами главной темы => понятия главных тематических узлов должны встречаться рядом друг с другом чаще, чем с другими понятиями • Необходимо отразить единство основной темы – больше чем совокупность пар понятий

32. Структура тематического представления MT1 Mc1 Mc3 MT3 MT2 Mc2 Mck MTk TNj TNj+1 TNj+2 Основные тематические узлы Локальные тематические узлы

33. Тематическое представление текста • Главные тематические узлы • Локальные тематические узлы (имеют текстовые связи по крайней мере с двумя главными тематическими узлами) • Упоминавшиеся понятия • Важность понятия в тематическом представлении • Центр главного тематического узла • Элемент главного тематического узла • Центр тематического узла • Элемент тематического узла • Упоминавшееся понятие

34. www.cir.ru/is4/

35. Пример релевантного документа по запросу «трудовая миграция» расширением запроса по иерархии тезауруса

36. Структурная тематическая аннотация Документы, для которых трудно автоматически построить связную аннотацию: • Законы, международные договора • Интервью • Документы на других языках Тематическая структурная аннотация: • Основные тематические узлы • Указана их относительная частотность • Указана их относительная совместная встречаемость

37. ----+----------------------------------------------------------------------+----+----------------------------------------------------------------------+ | ВОЕННАЯ СЛУЖБА; ВОЕННОСЛУЖАЩИЙ; ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ | ****| | | | | +------------------------------------------------------------------+ | | ЖИЛОЕ ПОМЕЩЕНИЕ; НАЕМ ЖИЛОГО ПОМЕЩЕНИЯ; ОБЕСПЕЧЕННОСТЬ ЖИЛЬЕМ;| ****| X | КВАРТИРА; ЖИЛИЩНАЯ НОРМА; КОМНАТА (ПОМЕЩЕНИЕ); ЗДАНИЕ;| | | ЖИЛОЕ ЗДАНИЕ; ЖИЛАЯ ПЛОЩАДЬ| ||+--------------------------------------------------------------+ | | | ФИНАНСОВАЯ ПОМОЩЬ;| ****| z | z | | |||+----------------------------------------------------------+ | | | | ГРАЖДАНИН | ****| X | z | . | | ||||+------------------------------------------------------+ | | | | | УВОЛЬНЕНИЕ;| ****| X | z | . | X | | |||||+--------------------------------------------------+ | | | | | | СТРОИТЕЛЬСТВО; ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО; | ****| . | X | z | . | . | ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ;| ||||||+----------------------------------------------+ | | | | | | | ФЕДЕРАЛЬНЫЙ ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ;| ****| X | . | z | . | . | . | ОРГАНИСПОЛНИТЕЛЬНОЙ ВЛАСТИ; ПРАВИТЕЛЬСТВО; | | | | | | | | ПРАВИТЕЛЬСТВО РОССИИ; МИНИСТЕРСТВО ОБОРОНЫ; | |||||||+------------------------------------------+ | | | | | | | | ПОКУПКА; ДЕНЬГИ; ПЛАТИТЬ; | ****| z | X | z | . | . | z | z | | Тематическая аннотация(Постановление Правительства РФ от 26 июня 1995 г. N 604)

38. Пример текстового документа

39. Структурная тематическая аннотация для документов сложных жанров

40. Автоматическое построение связной аннотации

41. Системы автоматической рубрикации, реализованные на основе Тезауруса Классификатор Центральной Избирательной комиссии (450 рубрик, 4 уровня) Классификатор правовых актов РФ (Указ Президента РФ N511 от 15 марта 2000 г., 1169 рубрик) Классификатор экономической информации JEL (700 рубрик на английском языке) Классификатор социологических опросов ВЦИОМ (350 рубрик) Классификаторы по экономике и социологии ГРНТИ и др.

42. Технология автоматического рубрицирования • Опора на знания, описанные в Общественно-политическом Тезаурусе • Представление рубрики в виде логической формулы для небольшого числа ОПОРНЫХ концептов, затем автоматическое расширение с использованием иерархической структуры Тезауруса • Независимый от конкретного рубрикатора (изменения состава рубрикатора) автоматический тематический анализ текста – выявление в тексте совокупностей близких терминов, выявление терминов, характеризующих основную тему и подтемы документов

43. Схема описания рубрики Рубрика Альтернатива2 Альтернатива1 ИЛИ У11 И У12 И У13 У21 И Условие22 ИЛИ ИЛИ + + - +

44. Представление смысла рубрики опорными понятиями

45. ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИПОСТАНОВЛЕНИЕ (от 26 декабря 2001 г. N 905) О подписании Соглашения между Правительством Российской Федерации и Правительством Туркменистана о сотрудничестве в области исследования и использования космического пространства в мирных целях … 090090000 Космическая деятельность 64 T130817 ПУСК РАКЕТЫ 12 64 T4200 КОСМОДРОМ 8 63 T106444 БАЙКОНУР 8 63 T6783 РАКЕТА-НОСИТЕЛЬ 6 62 T955 КОСМОНАВТИКА 6 62 T956 КОСМИЧЕСКАЯ ТЕХНИКА 4 61 T131907 ЗАПУСК КОСМИЧЕСКИХ АППАРАТОВ 3 61 T1023 КОСМИЧЕСКИЙ АППАРАТ 2 61 T1022 СПУТНИКОВАЯ СВЯЗЬ 1 60 T137619 КОСМИЧЕСКИЕ ИССЛЕДОВАНИЯ 1 60 T9340 КОСМИЧЕСКАЯ МЕДИЦИНА 1 60 T5962 АСТРОФИЗИКА 1 60 T2497 ИСКУССТВЕННЫЙ СПУТНИК ЗЕМЛИ 1 15

46. Фрагмент рубрик, приписанных документу (Постановление Правительства РФ от 26 июня 1995 г. N 604) 150100020 Содержание и порядок прохождения военной службы 95 T791 ВОЕННАЯ СЛУЖБА29 95 T792 ВОЕННОСЛУЖАЩИЙ17 76 T6999 ВОИНСКАЯ СЛУЖБА ПО КОНТРАКТУ2 62 090040000 Строительство 81 T55 СТРОИТЕЛЬСТВО 12 81 T482 ЖИЛИЩНОЕ СТРОИТЕЛЬСТВО 4 64 T6217 ЖИЛИЩНО-СТРОИТЕЛЬНЫЙ КООПЕРАТИВ 2 62 020010040 Федеральные органы исполнительной власти 77 T2576 ФЕД. ОРГАН ИСПОЛНИТЕЛЬНОЙ ВЛАСТИ 7 77 T5109 МИНИСТЕРСТВО ОБОРОНЫ3 63 150040000Кадры Вооруженных Сил Российской Федерации 76 T792 ВОЕННОСЛУЖАЩИЙ17 76 070070020 Компенсационные и иные социальные выплаты 75 T124039 КОМПЕНСАЦИЯ 15 75

47. Вопросы к лекции • Базовые семантические отношения. • Перечислите этапы автоматической обработки текстов на основе Тезауруса. • Опорные моменты технологии автоматического рубрицирования