Detección de líneas de referencia de palabras en cursiva según la Entropía

1. Detección de líneas de referencia de palabras en cursiva según la Entropía • Rodríguez de Torres Jaramillo, Joaquín Carlos • Rivas Pérez, Manuel • Peña Cantillana, Felipe

2. Índice • Introducción. - On-line. - Off-line. - Analytic aproach. - Holistic aproach. - Resumen. • Método propuesto. - Otras técnicas. - Extracción de puntos del contorno. - Generación de histogramas. - Elección del histograma según “la Entropia”. - Deducción de líneas de referencia. • Ejemplos prácticos. • Bibliografía. • Turno de preguntas.

3. Introducción • On-line: la escritura manual es producida a través de un dispositivo como un lápiz electrónico o tabletas gráficas Reconocimiento de la escritura manual (cursive script recognition): 2. Off-line: se trabaja con imágenes digitales introducidas a través de un escáner o cámara digital

4. Características On-line • Uso de lápiz electrónico o tabletas gráficas. • Colaboración entre escritor y el computador. • Línea de escritura no tiene grosor. • Reconocimiento basado en un dato unidimensional, es decir, la línea de escritura es representada mediante una secuencia de puntos cuya localización es función del tiempo.

5. Características Off-line • No necesita de dispositivos especiales para realizar la escritura. • No hay ningún tipo de colaboración entre escritor y el computador. • La escritura posee grosor. • Reconocimiento basado en un dato bidimensional.

6. Off-line Nos centraremos en el reconocimiento Off-line, donde podemos encontrar dos estrategias fundamentales aplicadas al problema del CSR: • Analytical aproach o segmentation-based: En este primer caso, la palabra es considerada como un conjunto de unidades más pequeñas, las técnicas de reconocimiento de palabra se basan en el reconocimiento de esas unidades que la forman. • Holistic aproach o word-based: En este segundo caso, el reconocimiento de la palabra se realiza considerando ésta como un todo, es decir, no se intenta identificar los caracteres de los que está compuesta.

7. Analytical aproach vs Holistic aproach Analytical aproach: • Los puntos de segmentación de la palabra son establecidos correctamente solo cuando se conoce la secuencia correcta de caracteres que forman dicha palabra. • El reconocimiento de caracteres sólo es exitoso cuando la segmentación es correcta. • Tomar muchos potenciales puntos de segmentación, pero esto se complica bastante al mezclarlo con la elección de los posibles caracteres que forman dicha palabra. • Pobre uso de la información contextual obtenida de caracteres vecinos.

8. Analytical aproach vs Holistic aproach Holistic aproach: • Extraer un vector que caracteriza la palabra. • Por comparación con prototipos de palabras almacenadas en un diccionario se concluirá que palabra es ésta. • Con este método se gana en velocidad y evita todos aquellos problemas surgidos de la segmentación de la palabra en unidades más pequeñas. • Se aproxima más al método de lectura humano. • El único problema que plantea este método es el de tener un léxico apropiado para el reconocimiento de las palabras.

9. Aplicaciones - Reconocimiento direcciones postales - Lectoras para ciegos - Impresos rellenados manualmente - Talones bancarios

10. Resumen Reconocimiento de palabras • Reconocimiento On-line Reconocimiento de palabras cursivas o escritura manual • Analytic aproach • Reconocimiento Off-line • Holistic aproach

11. Etapas de reconocimiento

12. Preprocessing • Convertir la entrada de escritura manual en una forma más eficiente. • Elegir entre modificar la imagen o preservar características. • Normalización, reducción de ruido, búsqueda de líneas de referencia

13. Preprocessing • Extracción contorno (contour tracing) • Corrección de inclinación (skew correction) • Corrección del declive (slant correctíon) • Búsqueda de líneas de referencia (reference line finding) o baselines • Suavizado (smoothing) • Cambio de escala (scaling) • Extracción del esqueleto (thinning)

14. Preprocessing Skew/base-line correction Slant correction Base-line finding Thinning

15. Slant correction n1=3 n2=3 n3=1

16. Slant correction

17. Slant correction

18. Slant correction

19. Slant correction

20. Slant correction

21. Slant correction

22. Slant correction

23. Slant correction Hyper SPARC 125 MHz

24. Líneasdereferencia • Objetivo: Detectar primitivas significativas: ascendentes y descendentes • Dividir palabra en 3 partes: superior (ascendentes), central (cuerpo), inferior (descendentes)

25. Líneasdereferencia • Problema: Escritura cursiva es a menudo inclinada • Enderezamiento => Distorsiones (pérdidas de información) • Métodos conocidos complejos (requieren corrección previa de la inclinación, skew correction)

26. Líneasdereferencia • Método • 1) Extracción puntos del contorno • 2) Generación histogramas ordenadas • 3) Selección histograma más compacto (entropía menor) • 4) Deducción líneas de referencia

27. 1.-Extraccióndelcontorno • Objetivo: Eliminar puntos sobrantes • Barras de ‘t’, letras ‘i’, ‘j’ • Para encontrar todos los puntos del borde de S, podemos rastrear la imagen y comprobar los cuatro vecinos de cada 1 (negro) para ver si alguno de ellos es 0 (blanco) o vv.

28. 1.- Extracción del contorno

29. 2.-Generación de histogramas • Cada ordenada de los puntos es proyectada en un eje cuyo ángulo de inclinación con respecto a la horizontal varía desde +30º hasta –30º en pasos de 1º => 61 proyecciones • Calcular histograma de densidad para cada proyección => 61 histogramas

30. 2.-Generación de histogramas • Dado un punto del contorno P(x,y) y un ángulo de proyección  con respecto a la horizontal, sus coordenadas en el nuevo sistema de referencia se obtienen aplicando una rotación: aunque solo necesitaremos la proyección y’:

31. PROYECCIONES (I) Y P1(X1,Y1) P2(X2,Y2) Y1 Y2 P3(X3,Y3) Y3 X1 O X2 X3 X Yi son iguales => Puntos siguen dirección OX

32. PROYECCIONES (II) Y P1(X1,Y1) P2(X2,Y2) Y3 Y2 P3(X3,Y3) Y1 X1 O X2 X3 X Yi son distintos => Puntos NO siguen dirección OX

33. PROYECCIONES (III) X’ Y’ Y P1(X1,Y1) P2(X2,Y2) Y3 Y2 P3(X3,Y3) Y1 O X1 X2 X3 X Y’3 Y’2 Y’1 Yi son distintos => Puntos NO siguen dirección OX Yi’ son iguales => Puntos siguen dirección OX’

34. 2.-Generación de histogramas

35. 3.- Elección del histograma • Entropía: • Ni = Nº de pixeles con proyección yi en el vector proyección • N = Nº total de puntos • Pi = frecuencia de ocurrencia de la ordenada yi

36. 3.- Elección del histograma • Entropía máxima => Todas Pi son iguales => Distribución homogénea, muy extendida (plana) • Entropía mínima => Todas Pi son nulas (excepto una) => Distribución heterogénea, poco extendida (abrupta)

37. 3.- Elección del histograma • La dirección de la inclinación de la palabra se obtiene minimizando la entropía • Se calcula la entropía para cada histograma de densidad y se coge el de mínima entropía

38. 3.- Elección del histograma

39. 4.- Obtención de las líneas • Cada histograma presenta 3 picos: central (cuerpo), izquierda (zona ascendentes), derecha (zona descendentes) • Ausencia picos laterales (no hay ascendentes / descendentes) • Líneas de referencia: rectas separan pico central de las zonas laterales. Ordenadas al origen son los umbrales

40. 4.- Obtención de las líneas • Heurística de aproximación : donde fmax es la frecuencia del pico central

41. 4.- Obtención de las líneas

42. Líneas de referencia

43. Ventajas • No causa ninguna deformación en la imagen de partida, lo cual es importante a la hora de detectar la primitivas salientes de la imagen • Menos complejo que los métodos que usan regresiones lineales

44. Ejemplos Elmira Almaden Tennesse Treadwell

45. Inconvenientes • La heurística no siempre se verifica aunque la dirección sea la correcta => Búsqueda adaptativa mejorando los umbrales (thresholding) • Problemas con las ‘T’, ‘F’ que originan picos parásitos que impiden la detección del pico central (aunque ocurre pocas veces)

46. Inconvenientes Four Ten Mal Two Tappan Bien Talmage

47. Ejemplos Fiskill Thiells Taberg

48. Ejemplos one nine seven six

49. Ejemplos dollars eighteen Criterio de la entropía Criterio del pico maximal

50. Comparativa