1 / 52

Обнаружение текста на изображениях

Обнаружение текста на изображениях. Наталья Васильева nvassilieva@hp.com HP Labs Russia. 8 апреля 201 2 , Computer Science клуб. Зачем?. Необходимо для дальнейшего распознавания текста ( OCR ) Документы – page layout analysis

bonner
Download Presentation

Обнаружение текста на изображениях

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Обнаружение текста на изображениях Наталья Васильева nvassilieva@hp.com HP Labs Russia 8апреля 2012, Computer Science клуб

  2. Зачем? • Необходимо для дальнейшего распознавания текста (OCR) • Документы – page layout analysis • Фотографии, чертежи, графики – text detection and localization • Самостоятельные приложения • Автоматическое построение коллажей • Автоматическое изменение размера изображений

  3. Компоненты системы извлечения текста + Text Enhancement Fig. credit: J. Gllavata

  4. Приложения • Оцифровка документов • Индексирование и извлечение информации из графиков и чертежей • Индексирование и поиск изображений, автоматическое построение аннотаций • Переводчик в карманепример: Word Lens (http://questvisual.com/) • Помощь слабовидящим • Навигация роботов в помещениях, в городских условиях Fig. credit: N. Ezaki et al.

  5. Обнаружение текста – газеты, журналы, книги • обнаружение текстовых областей • определение угла поворота текста (skew detection) • определение порядка чтения

  6. Обнаружение текста – произвольные изображения • Исходное изображение Возможные результаты работы алгоритмов обнаружения текста

  7. Обнаружение текста – чертежи и графики • Обнаружение текстовых областей • Определение угла поворота текстовых строк • Короткие фрагменты текста • Разнообразие шрифтов, текст под разными углами • Однородный фон • Высокая контрастность фотографии печатные документы

  8. План лекции • Зачем нужны алгоритмы обнаружения текста? • Что такое цифровое изображение? • Представление цифровых изображений • Границы, компоненты связности, бинаризация, преобразование Хафа • Печатные документы (document images) • Фотографии (natural scenes) • Чертежи, графики, обложки

  9. Представление цифровых изображений Растровое изображение

  10. Представление цифровых изображений Цветное растровое изображение: • RGB – распространенная модель цвета • Каждый пиксель задается тремя значениями: red, green, blue

  11. Обнаружение границ

  12. Градиент изображения • Градиент направлен в сторону наибольшего изменения интенсивности Величина градиента: Направление градиента:

  13. Вычисление градиента изображения Дискретный случай: Roberts: Prewitt: Sobel:

  14. Выделение границ: примеры Canny Sobel Исходное

  15. Компоненты связности 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 2 2 0 0 3 3 0 0 4 4 0 0 1 1 1 1 1 1 1 1 0 0 3 3 3 3 0 0 0 0 0 1 1 1 1 0 0 0 3 3 3 3 0 0 0 0 0 1 1 1 1 0 0 0 3 3 3 0 0 3 3 0 0 1 1 1 0 0 1 1 0 0 0 3 3 3 0 0 0 0 0 1 1 0 0 0 0 0 5 3 0 0 0 3 3 0 0 0 0 0 0 0 6 6 5 3 0 0 7 3 3 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

  16. Компоненты связности

  17. Пороговая бинаризация Светлый объект на темном фоне Два светлых объекта на темном фоне Глобальная – порог единый для всех точек изображения ЛокальнаяилиДинамическая – когда порог зависит от координатточки (x,y) Адаптивная – когда порог зависит от значения яркости в точке I(x,y)

  18. Бинаризация

  19. Преобразование Хафа (Hough transform) y b b0 m0 x m image space Hough space • Для данного набора точек (x, y)найти все точки (m, b), такие что y=mx+b

  20. Точке (x0, y0) соответсвует прямая в пространстве Хафа: b = –x0m + y0 Преобразование Хафа (Hough transform) y b y0 x0 x m image space Hough space Обычно, используют полярные координаты: • Для данного набора точек (x, y)найти все точки (m, b), такие что y=mx+b

  21. План лекции • Зачем нужны алгоритмы обнаружения текста? • Что такое цифровое изображение? • Представление цифровых изображений • Границы, компоненты связности, бинаризация, преобразование Хафа • Печатные документы (document images) • Фотографии (natural scenes) • Графики, диаграммы, обложки

  22. Печатные документы Основные задачи • Анализ структуры страницы (layout analysis, geometric structure analysis, page segmentation, region classification) Fig. credit: Y.Y. Tang et al.

  23. Печатные документы Основные задачи • Анализ структуры страницы (layout analysis, geometric structure analysis, page segmentation, region classification) • Методы • «Сверху-вниз» (top-down) • XY-cuts, whitespace segmentation • «Снизу-вверх» (bottom-up) • группировка ближайших соседей, диаграммы Вороного Fig. credit: Y.Y. Tang et al.

  24. Projection profilesand XY-cuts Вертикальная проекция Горизонтальная проекция Fig. credit: Y.Y. Tang et al.

  25. Методы «снизу-вверх» Результат алгоритма Docstrum Fig. credit: A. Namboodiri et al.

  26. Методы «снизу-вверх» Использование диаграмм Вороного Fig. credit: A. Namboodiri et al.

  27. Печатные документы Основные задачи • Определение поворота текста (page rotation, skew detection) • Projection profiles(для исходного изображения или компонент связности) • Использование преобразования Хафа • Определение угла наклона тектовых строк • Обнаружение текстовых строк(text line finding, baseline finding)

  28. План лекции • Зачем нужны алгоритмы обнаружения текста? • Что такое цифровое изображение? • Представление цифровых изображений • Границы, компоненты связности, бинаризация, преобразование Хафа • Печатные документы (document images) • Фотографии (natural scenes) • Графики, диаграммы, обложки

  29. Фотографии Почему не работают традиционные методы? • Большое разнообразие шрифтов • Разнообразие расположений и направлений текстовых строк • Короткие текстовые строки • Разнообразие условий съемки (освещение, фокусное расстояние) • Сложный фон • Нет определенной структуры страницы • Наложение объектов (occlusions)

  30. Фотографии Классификация подходов Text detection and localization Region-based Texture-based CC-based Edge-based K. Jung et al.

  31. Фотографии Методы, основанные на анализе текстуры Text NoText Объединениерезультатов Извлечение текстурных признаков(Gabor, Wevelets, DCT) Классификация регионов (SVM) Построение пирамиды изображений

  32. Фотографии Методы, основанные на анализе текстуры + • Сложный фон – • Вычислительно сложные (обработка нескольких масштабов, операции свертки) • Произвольная направленность текста (негоризонтальный текст) • Произвольный размер шрифта

  33. Фотографии Region-based methods (bottom-up) • Выделение компонент связности на основе локальных признаков (близкий цвет или принадлежность границе) • Объединение выделенных компонент связности в группы по признакам близкого расположения и схожих локальных признаков (размер, цвет)

  34. Фотографии Region-based methods + • Произвольный размер шрифта • Произвольная направленность текста • Просты в реализации – • Сложный фон • Шум и нерезкость изображения • Используют большое количество эвристик

  35. Stroke Width Transform (SWT) Исходное изображение После фильтрации по признаку постоянстваширины штриха Найденный текст Результат SWT B. Epshtein et al.

  36. Обнаружение текста при помощи SWT B. Epshtein et al.

  37. Вычисление SWT Фрагмент штриха p – пиксель на границе штриха, q – пиксель на противоположной стороне штриха (градиенты в p и q направлены друг на друга) Всем пикселям вдоль луча pqприсваивается значение ширины штриха B. Epshtein et al.

  38. Обнаружение текста с помощью SWT • Границы для нерезких изображений, низкого разрешения –  • Погрешность SWT на стыках штрихов –  • Эвристики для фильтрации компонент –  • Двойной проход и интеграция результатов – 

  39. Комбинированные методы Y.-F. Pan et al.

  40. Комбинированные методы Шаг 1 – анализ текстуры Y.-F. Pan et al.

  41. Комбинированные методы Шаг 2 – анализ компонент связности Y.-F. Pan et al.

  42. Комбинированные методы Шаг 3 – выделение текстовых строк и слов • построение минимального остовного дерева • решение оптимизационной задачи Y.-F. Pan et al.

  43. ICDAR (2003, 2005, 2009, 2011) Robust Reading Competitions • Распознавание символов • Распознавание слов • Локализация текста • Распознавание текста

  44. План лекции • Зачем нужны алгоритмы обнаружения текста? • Что такое цифровое изображение? • Представление цифровых изображений • Границы, компоненты связности, бинаризация, преобразование Хафа • Печатные документы (document images) • Фотографии (natural scenes) • Графики, диаграммы, обложки

  45. Графики и диаграммы Анализ компонент связности по цвету

  46. Экспериментальная оценка Тестовое множество: 1000 диаграмм, сгенерированныхSWF/XML tool LocationRecognitionRate = NLoc/NG LocationPrecisionRate = NLoc/NF TextRecognitionRate = NTxt/NG TextPrecisionRate = NTxt/NF NLoc – the number of correctly localized text blocks NG – the total number of text blocks NTxt – the number of correctly recognized text blocks NF – the total number of detected text blocks

More Related