Segmentación de secuencias de video en tiempo real utilizando una WebCam

1. Segmentación de secuencias de video en tiempo real utilizando una WebCam V Taller de Procesamiento de Imágenes (PI 2008) Presenta: Francisco Javier Hernández López Asesor: Dr. Mariano José Juan Rivera Meraz CIMAT, Agosto/2008

2. Nuevo Fondo Secuencia de Video Ilustramos nuestros resultados mediante la sustitución del fondo. Problema • Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background) en tiempo real.

3. Problema • Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video: Tabla 1. Casos del Problema

4. Utilización • Videoconferencia • Video vigilancia

5. Tomamos N imágenes y calculamos μ(x) Leemos la siguiente imagen IS(x) Calculamos Verosimilitud de ser Fondo VB Segmentamos con QMPF y sustituimos el Fondo. Propuesta WebCam

6. Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente: (1) Distribución Gaussiana Distribución Exponencial Propuesta • Verosimilitud de ser Fondo Inicialmente probamos con una distribución gaussiana:

7. Resolviendo (2) para P(x) tenemos: Utilizando Gauss - Seidel Con Propuesta • Segmentación con el método QMPF. Siguiendo el método QMPF tenemos el siguiente funcional: (2) donde:

8. Al realizar los experimentos observamos los siguientes problemas: Modificación de la Intensidad • Cambio de Intensidad en la escena. Corrección de semejanza del color • Semejanza del color Propuesta • Sustitución del Fondo • Si P(x)>Umbral entonces • de lo contrario Donde: Umbral=0.5

9. restringida al área donde estamos seguros que es fondo, donde Propuesta • Modificación de la Intensidad • Calculamos μRGB de los elementos de Div(x). • Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).

10. Propuesta • Corrección de Semejanza del Color • Calculamos el Flujo Óptico (Lucas & Kanade), obtenemos d(x). • Si • de lo contrario • Finalmente

11. Implementación • El método fue implementado en Visual C++ 2005 Express Edition, utilizando: • GPU: Tarjeta de Video NVIDIA GeForce 8800 GT, Lenguaje CUDA (Compute Unified Device Architecture). • OpenCV. • Una WebCam Creative. • Computadora Pentium 4 con CPU a 3.40 GHz y 512 MB de RAM.

12. N imágenes I(x), FN(x), Ban  0 Calculamos µ(x) Siguiente imagen IS (x) OpenCV OpenCV GPU IS2 (x)  IS (x) Modificación de la Intensidad Segmentación del Primer Plano Ban ≤ C No Si Con P_ant(x) Calculamos Div(x) Calculamos µR GB IS (x)  IS (x) µR GB Ban  Ban+1 GPU CPU Calculamos VB (x) GPU Segmentación con QMPF, Obtenemos P(x) Calculamos VB (x) GPU Calculamos F.O. Calculamos VB2 (x) VB (x) VB2 (x) OpenCV P_ant(x)  P(x) CPU Cambiamos Fondo ISEG (x) Corrección de Semejanza del Color Implementación Diagrama de Flujo Principal del Método

13. VB(x) Calculamos las Distancias y Pesos Por GS resolvemos (3) para encontrar P(x) (3) Implementación • Segmentación con QMPF Este proceso se implemento en GPU, utilizando MGrid (Estructura Piramidal), sin necesidad de crear memoria para toda la pirámide.

14. Calculamos Div(x), restringida al área del Fondo GPU Calculamos la media CPU #PF Numero de Píxeles del Fondo F Fondo Modificamos la Intensidad de la imagen IS (x) GPU Implementación • Modificación de la Intensidad P_ant(x)

15. OpenCV cvCalcOpticalFlowHS(prev,curr,use_previous,velx,vely,lambda,CvTermCriteria ); Calculamos el FO. Lucas & Kanade d(x) cvCalcOpticalFlowLK(prev,curr, win_size, dx, dy ); Si un píxel era primer plano en la solución anterior P_ant(x), y ahora es clasificado como fondo, entonces damos oportunidad a que siga teniendo la misma probabilidad de ser fondo que tenía en la P_ant(x). Modificar el valor de VB(x) CPU Implementación • Corrección de Semejanza del Color VB(x), P_ant(x) Nota: Esta pendiente la implementación de este proceso en GPU.

16. Experimentos • Los experimentos fueron realizados con secuencias de video de resolución 320x240. Método Propuesto • M_1: Método sin ajuste de iluminación y sin corrección de semejanza del color, corre a 50 f/s. • M_2: Método Completo, corre a 27 f/s.

17. Experimentos Método Creative • Resolución 320x240, corre a 29 f/s

18. Experimentos Método Propuesto Método Creative

19. Conclusión Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.

20. Trabajo a Futuro Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.

21. Referencias [1] Mariano Rivera and Pedro P. Mayorga, “Quadratic Markovian Probability Fields for Image Binary Segmentation” [2] Stefano Messelodi, Carla Maria Modena, Nicola Segata, Michele Zanin, “A Kalman Filter Based Background Updating Algorithm Robust to Sharp Illumination Changes”, pages 163-170, (2005). [3] CUDA ZONE: http://www.nvidia.com/object/cuda_get.html [4] GPGPU: http://www.gpgpu.org/ [5] OpenCV Manual Referente: http://www.comp.leeds.ac.uk/vision/opencv/opencvref_cv.html

22. Preguntas … ?