Segmentación de secuencias de video en tiempo real utilizando una WebCam

1. Segmentación de secuencias de video en tiempo real utilizando una WebCam V Taller de Procesamiento de Imágenes (PI 2008) Presenta: Francisco Javier Hernández López Asesor: Dr. Mariano José Juan Rivera Meraz CIMAT, Agosto/2008

2. Nuevo Fondo Secuencia de Video Ilustramos nuestros resultados mediante la sustitución del fondo. Problema • Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background).

3. Problema • Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video: Tabla 1. Casos del Problema

4. Utilización • Videoconferencia • Video vigilancia

5. Tomamos N imágenes y calculamos μ(x) Leemos la siguiente imagen IS(x) Calculamos Verosimilitud de ser Fondo VB Segmentamos con QMPF y sustituimos el Fondo. Propuesta WebCam

6. Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente: (1) Distribución Gaussiana Distribución Exponencial Propuesta • Verosimilitud de ser Fondo Inicialmente probamos con una distribución gaussiana:

7. Resolviendo (2) para P(x) tenemos: Utilizando Gauss - Seidel Con Propuesta • Segmentación con el método QMPF. Siguiendo el método QMPF tenemos el siguiente funcional: (2) donde:

8. Al realizar los experimentos observamos los siguientes problemas: Modificación de la Intensidad • Cambio de Intensidad en la escena. Corrección de semejanza del color • Semejanza del color Propuesta • Sustitución del Fondo • Si P(x)>Umbral entonces • de lo contrario Donde: Umbral=0.5

9. restringida al área donde estamos seguros que es fondo, donde Propuesta • Modificación de la intensidad • Calculamos μRGB de los elementos de Div(x). • Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).

10. Propuesta • Corrección de semejanza del color • Calculamos el Flujo Óptico, obtenemos d(x). • Si • de lo contrario • Finalmente

11. N imágenes I(x), FN(x), Ban  0 Calculamos µ(x) Siguiente imagen IS (x) IS2 (x)  IS (x) Ban ≤ C 2da. Parte No Si Con P_ant(x) Calculamos Div(x) Calculamos µR GB IS (x)  IS (x) µR GB Ban  Ban+1 1ra. Parte Calculamos VB (x) Segmentación con QMPF, Obtenemos P(x) Calculamos VB (x) Calculamos F.O. Calculamos VB2 (x) VB (x) VB2 (x) P_ant(x)  P(x) Cambiamos Fondo ISEG (x) 3ra. Parte Propuesta Diagrama de Flujo Principal del Método

12. Experimentos Método Propuesto Método de Creative

13. Conclusión Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.

14. Trabajo a Futuro Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.

15. Preguntas … ?