Registrado de Imágenes Basado en la Estimación de Modelos Paramétricos de Movimiento Afín.

1. Registrado de Imágenes Basado en la Estimación de Modelos Paramétricos de Movimiento Afín. Trabajo De Investigación (9 Créditos) Realizado Por: Raúl Montoliu Dirigido Por: Filiberto Pla Abril, 2002

2. Índice • Introducción: • Motivación. • Problema a resolver. • Aplicaciones. • Problemas estimación movimiento. • Trabajos anteriores. • Estimación de parámetros: • Descripción del problema de estimación de parámetros. • Fundamentos matemáticos método GLS.

3. Índice • Estimación del movimiento: • Algoritmo SPMME. • Ejemplo aplicado a ajuste de rectas. • Experimentos y resultados: • Secuencias sintéticas: • Prueba de exactitud. • Prueba de detección de outliers. • Prueba con deformaciones de magnitud grande. • Secuencias reales. • Conclusiones. • Publicaciones y bibliografía.

4. 1. Introducción • Motivación: • Realizar máquinas que “imiten” al sentido de la vista. • El análisis de movimiento ayuda a interpretar escenas. • Tiene más información una escena en movimiento que una escena estática.

5. T T+1 ¿? Introducción • Problema a resolver: • En nuestro caso: T y T+1 cercanos en el tiempo. • En la literatura: “Registrado de imágenes temporal”

6. Introducción • Aplicaciones: • Cartografía:

7. . . . Introducción • Aplicaciones: • Elaborar vistas panorámicas:

8. Introducción • Otras aplicaciones: • Medicina. • Análisis de tráfico.

9. Introducción • Problemas en el análisis del movimiento: • Problema de la apertura. • Mundo es 3D, pero la imagen es 2D. • Oclusiones. • Limites en el modelo de movimiento utilizado. • Presencia de múltiples modelos de movimiento.

10. Introducción • Trabajos anteriores: • Métodos basados en características: • Muy usados en medicina y astronomía. • Métodos basados en funciones acumulativas: • Transformada de Hough, Ransac. • Robustos a outliers. • Complejidad computacional alta. • Poca exactitud. Concepto de Outlier: Valor fuera de lo “normal”. Ejemplo: 12, 13, 14, 11, 12, 13, 560, 15, 10, 1000 Media: 166 Media sin outliers: 12,5

11. Introducción • Trabajos anteriores: • Métodos basados en minimizar una función objetivo: • Único movimiento. • Elevada exactitud. • No son robustos frente a outliers. • Otros: • Regiones: “block-macthing.” • Log-polar.

12. 2. Estimación de Parámetros • Un problema de estimación de parámetros se compone de cuatro problemas: • Elección función a optimizar. • Elección método para optimizar la función anterior. • Implementación del método. • Determinar el modelo matemático que describe al sistema.

13. Estimación de Parámetros • Función: • Modelo: Afín

14. Estimación de Parámetros • Método: • minimización función objetivo basado en mínimos cuadrados: • Exactitud. • Simplicidad. • En ausencia de outliers es el estimador ideal. • Se propone un método para tratar con outliers.

15. Estimación de Parámetros • Nuestra problema de minimización: • No es lineal. • No es posible representarlo de la forma Ap=b. • No es posible aplicar un método de LS ordinario. • Utilizamos el método de mínimos cuadrados generalizados.

16. Mínimos Cuadrados Generalizados • Minimizar: • Algoritmo iterativo, partiendo de una aproximación inicial P0: • Donde P depende de las derivadas de la función respecto a las incógnitas (parámetros de movimiento) y de las observaciones.

17. ¿Algún Cambio? NO Extraer Outliers NO SI ¿Algún Cambio? SI Ajuste Final Recuperar Inliers Ajuste 3. Estimación del Movimiento Estimación Inicial

18. Estimación inicial Estimación del Movimiento

19. Outlier Estimación del Movimiento

20. Nuevo Ajuste Estimación del Movimiento

21. Inlier Estimación del Movimiento

22. Ajuste final Estimación del Movimiento

23. Conjunto Inliers Conjunto Outliers Estimación del Movimiento

24. Inicialización • Algoritmo jerárquico: • Pirámide de imágenes de resolución variable. • Permite estimar deformaciones grandes. • Acelera el resultado.

25. Necesita una estimación inicial El resultado en el nivel l, se utiliza como aproximación inicial en el nivel l+1 Inicialización

26. Clasificación de Puntos. • Basada en la probabilidad de que un pixel pertenezca a un modelo. • Dos test: • Test de inliers: detecta nuevos inliers entre el conjunto de outliers. • Test de outliers: Busca outliers entre la muestra de inliers.

27. Experimentos y Resultados • Secuencias sintéticas: • Prueba de exactitud. • Prueba de detección de outliers. • Prueba con deformaciones grandes. • Secuencias Reales.

28. Experimentos y Resultados • Prueba de exactitud: • Se han generado varias series de imágenes variando los parámetros del modelo afín. • Error = valor real – valor estimado

29. Experimentos y Resultados • Ejemplos:

30. Experimentos y Resultados • Parámetros estimados vs reales

31. Experimentos y Resultados • Prueba de detección de outliers: Sin Movimiento Rotación de 7 grados

32. Experimentos y Resultados • Resultados:

33. Experimentos y Resultados • Prueba con deformaciones grandes:

34. Experimentos y Resultados • Resultados:

35. Experimentos y Resultados • Experimentos reales: • Castillo: traslaciones. • Laboratorio: Rotación. • Libro: zoom. • Parking 1: Todos. • Parking 2: Todos.

36. Secuencia Castillo

37. Secuencia Laboratorio

38. Secuencia Libro

39. Secuencia Parking1

40. Secuencia Parking2

41. Conclusiones • Gran exactitud. • Encuentra solución correcta, incluso en casos de deformaciones grandes. • Modelo afín. • Se reduce influencia de los outliers. • Puede trabajar con secuencias con gran cantidad de outliers. • Secuencias reales. • Posible extensión a otros modelos.

42. Líneas Futuras • Aplicar otros modelos. • Aplicar a log-polar. • Segmentación del movimiento: • Para un modelo el resto de pixeles pertenecientes a otros modelos se pueden considerar outliers.

43. Publicaciones • Conferencia internacional: • Montoliu R., Pla F. "Multiple Parametric Motion Model Estimation and Segmentation". 2001 International Conference on Image Processing (ICIP'2001), Vol. II, pp. 933-936, ISBN: 0-7803-6725-1, Thessaloniki (Greece), 2001. • Conferencia nacional: • Montoliu R., Pla F. "Parametric motion model extraction and estimation" IX conferencia de la asociación española para la inteligencia artificial (CAEPIA 2001), Vol. 2, pp. 725-734, Gijón (Spain), ISBN 84-032297-0-9, November 2001.

44. Bibliografía Fundamental • Danuser, G. and Stricker, M. “Parametric Model-Fitting: From Inlier Characterization To Outlier Detection”. PAMI. V20. N3 1998. • Bober, M. and Kittler, J., “A Hough Transform Based Hierarchical Algorithm for Motion segmentation and estimation” 4th International workshop on time-Varying image Processing and Moving Object Recognition, 1993. • Zhang, Z. “Parameter-Estimation Techniques: A Tutorial with Application to Conic Fitting”. Image and Vision Computing. V15. N1. 1997.