ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА- ZOOM (АВТОРУБРИКАЦИЯ)

1. ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА-ZOOM (АВТОРУБРИКАЦИЯ) Антонов А.В. , Курзинер Е.С. Корпорация «Галактика» alexa@galaktika.ru koorz@galaktika.ru

2. Авторубрикация – автоматическая классификация документов по заранее определенным рубрикам Подход: фильтрация на основе векторного шаблона

3. Информационный портрет – основа технологии Галактика-Zoom Набор значимых языковых конструкций, КОНТЕКСТ запрашиваемой темы.

4. Пример выборки документов и соответствующего инфопортрета Центральная Пресса 1.09.2004 1109 док. 480 слов статистики

5. Автоклассификатор Галактики-Zoom • Метод: сравнение ИП (векторов) документа и рубрики (шаблона) • Мера близости ИП: на основе скалярного произведения • Уточнение: ручная коррекция шаблона

6. Процедура построения шаблона рубрики • Получение выборки документов (вручную и/или запрос) • Автоматическое построение шаблона (ИП) • Ручная коррекция шаблона • Опытная классификация на тестовом наборе • Оценка классифицированных документов

7. Пример выборки документов и инфопортрета рубрики Алкоголизм-Наркомания Пресса 1.09.2004 Отобранные документы по рубрике Алкоголизм-Наркомания с порогом выше 50%

8. Пример инфопортрета документа 1 Пресса 1.09.2004 Отобранный документ по рубрике Алкоголизм-Наркомания с весом 70%

9. Пример инфопортрета документа 2 Пресса 1.09.2004 Отобранный документ по рубрике Алкоголизм-Наркомания с весом 65%

10. Оценка качества авторубрикации Из 163 документов релевантными были признаны 134 документа, то есть 83%.

11. Достоинства технологии рубрицирования Галактика-Zoom • Представление шаблона рубрики в виде списка значимых слов и словосочетаний. • Быстрый просмотр контекста. • Соединение ручного и автоматического построения шаблона рубрики. • Быстрая готовность шаблона. • Отсутствие лингвистической обработки. • Работа в реальном времени. • Полнота создаваемого образа. • Избыточность текстового материала. • Статистическая достоверность и устойчивость. • Работа в реальном времени.

12. Проблемы • Уменьшение шума. • Дальнейшее уменьшение ручной работы. • Учет взаимовлияния рубрик. • Интеграция с точными методами (тезаурус). • Определение границ применимости технологии.

13. ОПРЕДЕЛЕНИЕ ТЕМАТИЧЕСКИ ЗНАЧИМЫХ ДОКУМЕНТОВ В СИСТЕМЕ ГАЛАКТИКА-ZOOM (АВТОРУБРИКАЦИЯ) Благодарю за внимание Антонов А.В. начальник отдела поисковых систем «Галактика» e-mail: alexa@galaktika.ru; тел. 797-6171 Демо-сайт http://zoom.galaktika.ru