Tema 1: Estimaci n de movimiento

1. Tema 1: Estimaci�n de movimiento J. M. Sotoca

2. �ndice: 1.1 Introducci�n. 1.1.1 Proyecci�n en perspectiva. 1.1.2 Proyecci�n ortogr�fica. 1.2 Modelos param�tricos. 1.2.1 Movimiento 2D. 1.2.2 Estimaci�n en perspectiva.. 1.2.3 Estimaci�n af�n. 1.3 Modelos no param�tricos. 1.3.1 M�todos (OFE). 1.3.2 M�todos por bloques. 1.3.3 M�todos recursivos. 1.3.4 M�todos bayesianos. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG-1 y MPEG-2).

3. 1.1 Introducci�n. Se presentan modelos de la variaci�n espacio-temporal de la intensidad espacial en la imagen sc(x1, x2, t) o sc(xc,yc,t). Esto supone la variaci�n de los objetos de la escena 3D proyectados sobre el plano imagen 2D. B�sicamente es: Movimientos de rotaci�n, traslaci�n y escalado. Cuerpos r�gidos- Cuerpos no r�gidos (modelos de deformidad). Supone pasar de un sistema (Xc, Yc, Zc, t) a un sistema (xc, yc, t)

4. 1.1.1 Proyecci�n en perspectiva. Modelo de c�mara: En un plano ? llamado plano imagen, se forma la imagen mediante un operador llamado proyecci�n en perspectiva. Componentes: A una distancia fija f del plano imagen, se localiza un punto Oc llamado centro �ptico o punto focal. A esta distancia f se le denomina longitud focal del sistema �ptico, y se usa para formar la imagen m en el plano imagen de un punto 3D. As�, denominamos m la intersecci�n entre la l�nea OcM con el plano ?. El eje �ptico es la l�nea que pasa por el centro �ptico Oc y es perpendicular a plano imagen, cortando dicho plano en un punto c. Otro plano de inter�s (ver figura) es el plano F que pasa por el punto Oc y es paralelo al plano ?. A este plano se le denomina plano focal. Adem�s, en el modelo podemos trabajar con el plano imagen por delante o por detr�s del centro �ptico, de manera que las im�genes que se forman en ambos planos, est�n invertidas una respecto de la otra (ver figura). En el caso no aleatorio, se busca que las medidas y los valores obtenidos de las estimaciones converjan cuando k ? ?. En el caso aleatorio x se comporta de acuerdo con probabilidad p(x) asumiendo una funci�n densidad de probabilidad PDF. En el caso no aleatorio, se busca que las medidas y los valores obtenidos de las estimaciones converjan cuando k ? ?. En el caso aleatorio x se comporta de acuerdo con probabilidad p(x) asumiendo una funci�n densidad de probabilidad PDF.

5. 1.1.1 Proyecci�n en perspectiva.

6. 1.1.1 Proyecci�n en perspectiva. Las coordenadas cartesianas del punto M respecto al centro �ptico son M = (Xc, Yc, Zc)T. Este punto a su vez establece la direcci�n de un rayo respecto al centro �ptico de forma que todos los puntos de la forma ?M = (?Xc, ?Yc, ?Zc)T pertenecen al rayo. Dicho rayo corta al plano imagen en el punto m = (xc, yc, f)T. Si dividimos por la longitud focal f podemos cambiar a coordenadas normalizadas de forma que el plano imagen a distancia unidad del centro �ptico (xc?f, yc?f, 1)T. Entonces podemos establecer las siguientes relaciones: Este sistema puede ser escrito de forma lineal mediante �lgebra proyectiva en coordenadas homog�neas dependiendo de un factor de escala ?: donde ? = Zc?f es un factor de escala, (Xc, Yc, Zc, 1)t son las coordenadas del punto M en 3D.

7. 1.1.2 Proyecci�n ortogr�fica. Asume que todos los rayos de la escena, viajan paralelos unos a otros. Por esa raz�n tambi�n se le llama proyecci�n paralela. El plano imagen es paralelo al plano formado por los ejes Xc y Yc del sistema de referencia mundo. Luego xc=Xc y yc=Yc y obtenemos la siguiente relaci�n: donde xc y yc son las coordenadas del plano imagen. La distancia del objeto a la c�mara no afecta a la distribuci�n de intensidades de la imagen en el plano ortogr�fico. Da buenos resultados cuando la distancia del objeto a la c�mara es mucho mayor que la profundidad relativa de puntos del objeto respecto al sistema de referencia del propio objeto. La observaci�n de ruido en v�deo puede ser modelado en el proceso de discretizaci�n de la imagen. (filtraje y restauraci�n)

8. 1.2 Modelos param�tricos.

9. 1.2.1 Movimiento 2D. Deseamos estimar el movimiento proyectado por un objeto en la imagen (velocidad y desplazamiento). Se observa el movimiento aparente (flujo �ptico o correspondencia). Es necesario distinguir entre velocidad 2D y flujo �ptico, y desplazamiento 2D y correspondencia entre regiones. Movimiento 2D o �movimiento proyectado� se refiere a la proyecci�n en perspectiva u ortogr�fica del movimiento 3D en la imagen. Sea P un punto del objeto en tiempo t que se mueve a P� en t�. La proyecci�n en perspectiva en el plano imagen son p y p� respectivamente. El desplazamiento entre tiempos t y t�= t+ l ?t donde l es un entero y ?t es el intervalo temporal de muestreo, permite definir una funci�n del vector de desplazamiento dc(x, t; l ?t) a partir de variables continuas espacio-temporales (x,t)??3. El desplazamiento de coordenadas x de t a t� basado en la variaci�n de la intensidad sc(x, t) es llamado vector de correspondencia. El flujo �ptico recoge ese cambio en velocidades (v1, v2)= (dx1/dt, dx2/dt) en un punto (x,t)??3. En la practica, obtenemos un campo de desplazamientos (velocidades).

10. 1.2.1 Movimiento 2D.

11. 1.2.1 Movimiento 2D. El flujo �ptico, en general, es diferente al desplazamiento 2D (velocidad 2D): Falta de precisi�n en el gradiente espacial: Debe haber suficiente variaci�n en la regi�n de movimiento para que este sea observable. Cambios en la iluminaci�n externa: El flujo �ptico observable no siempre corresponde al movimiento actual. La iluminaci�n externa varia entre frames (direcci�n de iluminaci�n y sombras). En el problema de estimaci�n de movimiento 2D se plantean 2 pasos: Estimaci�n de los vectores de desplazamiento imagen-plano d(x,t;l?t) =(d1(x,t;l?t), d2(x,t;l?t)) entre t y t+l?t para todos los puntos. Estimaci�n de los vectores de flujo �ptico v(x,t) = (v1(x,t), v2(x,t))T. El problema de correspondencia puede realizarse hacia delante t+l?t o hacia atr�s t-l?t. Registrado de imagen: Es un caso especial de correspondencia donde los dos frames son globalmente desplazados uno respecto del otro. Ej: Una escena est�tica tomada desde dos posiciones de la c�mara.

12. 1.2.1 Movimiento 2D Movimientos relacionados con la c�mara:

13. 1.2.1 Movimiento 2D Fig 5.2: Al hacer un zoom, las l�neas salen de manera radial respecto de un punto que recibe el nombre de foco de expansi�n (FOE). Fig 5.3: En la figura de abajo se realiza una traslaci�n pura en el eje X (hacia la derecha). Se puede observar como las l�neas de flujo son paralelas y de modulo creciente a mayor profundidad. Fig 5.5: Se observa el flujo de imagen producido por movimiento combinado de traslaci�n en el eje Z (hacia delante) y de rotaci�n pura en el sentido negativo del eje Y. (a la derecha). El FOE parece que se ha desplazado hacia la derecha, aunque es un efecto enga�oso y sigue situado en el centro.

14. 1.2.1 Movimiento 2D. Estimaci�n de flujo �ptico: Consiste en estimar la correspondencia entre dos frames d(x,t;l?t)= v(x,t) l?t para velocidad constante. Si las componentes de desplazamiento o velocidad de cada p�xel son tratadas como variables independientes, entonces el n�mero de ecuaciones es igual al n�mero de p�xeles, donde cada vector tiene dos componentes. Problemas: Existencia de una soluci�n (oclusi�n): Una regi�n del objeto del cual pretendemos estimar su movimiento queda oculto en el frame siguiente. Existencia de soluci�n �nica (apertura): La soluci�n al problema de estimaci�n de movimiento no siempre es �nica. Existencia de situaciones donde no hay sensaci�n de movimiento. Solo puede estimarse el movimiento que es ortogonal al gradiente espacial de la imagen en cada p�xel (vector normal). Continuidad de la soluci�n: La estimaci�n es altamente sensitiva a la existencia de ruido en las observaciones. Peque�os incrementos de ruido pueden suponer desviaciones importantes en la estimaci�n. M�ltiples modelos de movimiento.

15. 1.2.1 Movimiento 2D. Podemos distinguir dos tipos de modelos de movimiento: param�tricos y no-parametricos. Modelos param�tricos: Son aquellos descritos mediante proyecci�n en perspectiva u ortogr�ficos sobre el plano imagen. Si el movimiento 2D es resultante del movimiento r�gido 3D en proyecci�n ortogr�fica solo son necesarios 6 par�metros (modelo af�n). Bajo proyecci�n en perspectiva son necesarios 8 par�metros (modelo proyectivo u homograf�a). Modelos no-param�tricos: El objeto en movimiento no tiene que ser r�gido. Podemos distinguir las siguientes aproximaciones: Basados en la ecuaci�n de flujo �ptico (OFE): Se basan en el uso de gradientes espacio-temporal de la intensidad de la imagen. Es necesario una suavidad en la variaci�n espacio-temporal entre vecinos. Esta necesidad causa imprecisi�n ante la existencia de oclusi�n en la frontera. En color se analizan las tres bandas de color por separado.

16. 1.2.1 Movimiento 2D. Modelos por bloques: Se asume que la imagen esta compuesta por bloques. Se plantean dos enfoques para determinar el desplazamiento de los bloques : Correlaci�n de fase: El termino linear de diferencia de fase entre dos frames consecutivos en la transformada de fourier, determina el movimiento estimado. Correspondencia entre bloques: Se busca el mejor bloque de tama�o fijo entre los dos frames con un criterio de distancia. A menudo el bloque se puede deformar. M�todos recursivos: Est�n basados en estimadores de desplazamiento de tipo predictor-corrector. La predicci�n puede tomar como valor de estimaci�n de movimiento la localizaci�n del p�xel previo o una combinaci�n de la vecindad en el p�xel actual. La actualizaci�n de la predicci�n esta basada en minimizar el gradiente de desplazamiento de diferencia de frame (DFD) en ese p�xel. M�todos bayesianos: Utilizan una restricci�n probabil�stica de probabilidad en forma de campos aleatorios de Gibbs para estimar el desplazamiento de campo.

17. 1.2.2 Transformaci�n en perspectiva. Dado un conjunto de puntos en un plano que llamaremos plano de referencia, se busca su correspondencia en el plano imagen a un plano homogr�fico, tambi�n conocida como transformaci�n proyectiva en el plano. Una homograf�a es descrita mediante una matriz H de rango 3 x 3 llamada matriz homogr�fica. Mediante esta matriz se determina la transformaci�n de los puntos en el plano de referencia a puntos en el plano imagen.

18. 1.2.2 Transformaci�n en perspectiva. Se define al matriz homogr�fica Hs como: donde Hs es una matriz que describe la homograf�a. Sistema de coordenadas del mundo X = (Xw, Yw, W)T ,con Zw = 0. Sistema de coordenadas imagen x = (xc, yc, w)T. Si trabajamos con el proceso inverso, podemos llegar a la siguiente expresi�n: donde W nos queda: . Si sustituimos en la expresi�n anterior nos queda:

19. 1.2.2 Transformaci�n en perspectiva. En forma no matricial ser�a las siguientes expresiones: Multiplicando el denominador en ambos lados tenemos: Si despejamos Xw e Yw y a�adimos ceros tenemos: El problema se reduce a n correspondencias entre puntos de los dos sistemas, donde se tienen 2n ecuaciones con 8 variables desconocidas. As� si n = 4, la soluci�n es exacta, mientras que si n > 4, H est� sobredeterminada y puede ser estimada mediante un esquema sobredeterminado. Ej: Descomposici�n en valores singulares (SVD).

20. 1.2.2 Transformaci�n en perspectiva. Para n= 4 tenemos:

21. 1.2.2 Transformaci�n en perspectiva.

22. 1.2.2 Transformaci�n en perspectiva

23. 1.3 Modelos no param�tricos.

24. 1.3.1 M�todos (OFE). Ecuaci�n de flujo �ptico: Sea sc(x1, x2, t) la distribuci�n de intensidad en el continuo espacio-tiempo. Si la intensidad es constante a lo largo de la trayectoria tenemos: donde x1 y x2 var�an con t de acuerdo al movimiento. Esta derivada es una derivada total que denota el cambio de intensidad a lo largo de la trayectoria de movimiento. Pasando a derivada parciales: donde v1(x,t) = dx1/dt y v2(x,t) = dx2/dt son las componentes del vector velocidad. Esta ecuaci�n es conocida como ecuaci�n de flujo �ptico. Alternativamente: donde ?sc(x,t) son los dos gradientes y ??,?? es el producto escalar.

25. 1.3.1 M�todos (OFE). Los dos valores desconocidos de OFE son los escalares v1 y v2. Nosotros podemos estimar la componente del flujo en la direcci�n espacial del gradiente de imagen llamado vector normal de flujo: La componente del vector de flujo esta en la direcci�n del gradiente espacial de la intensidad de imagen y es consistente con el problema de apertura. En la b�squeda de otras restricciones para determinar las componentes de flujo, diversos autores sugieren la conservaci�n del gradiente espacial de la imagen: Una estimaci�n del flujo �ptico puede darse a partir de la siguiente expresi�n:

26. 1.3.1 M�todos (OFE). Lucas-Kanade: Una forma de resolver el problema de apertura es asumir que el movimiento no cambia en un particular bloque de p�xeles denotado para x ? B (Lucas�Kanade). Aunque este modelo no es adecuado para movimientos rotacionales, es posible estimar movimientos de traslaci�n pura si el tama�o del bloque es suficientemente grande y cuenta con suficiente variaci�n. Definimos el error de la ecuaci�n de flujo sobre el bloque: Computando el error respecto a v1 y v2 e igualando a cero podemos obtener las siguientes estimaciones:

27. 1.3.1 M�todos (OFE). Horn-Schunk: Este m�todo satisface las variaciones entre p�xeles y es menos restrictivo que el m�todo anterior. Denotamos el error del flujo: En presencia de ruido y oclusi�n, el objetivo es minimizar el cuadrado de ese error. La variaci�n de los vectores velocidad p�xel a p�xel puede cuantificarse como la suma al cuadrado de los gradientes espaciales de las componentes del vector velocidad: donde asumimos que las coordenadas espaciales y temporales son continuas. El m�todo minimiza el promedio de la suma del error de OFE y la medida de la variaci�n del campo de velocidades:

28. 1.3.1 M�todos (OFE). �A� denota el soporte continuo de la imagen. El par�metro ?2, es utilizado como control del grado de suavidad de cambio del flujo. Minimizando la funcional en la expresi�n anterior tenemos: donde ?2 es la laplaciana. En la implementaci�n del m�todo se utiliza la iteraci�n de Gauss-Seidel para llegar a la siguiente expresi�n:

29. 1.3.1 M�todos (OFE). Estimaci�n de gradientes mediante diferencias finitas: Consideremos una imagen discreta s(n1, n2, k) en el frame k y n1 y n2 las coordenadas de la imagen. Entonces podemos aplicar las siguientes expresiones: Estimaci�n de gradientes mediante ajuste polin�mico: En este caso se busca aproximar sc(x1, x2, t) mediante un polinomio de bajo orden.

30. 1.3.1 M�todos (OFE). donde ?i(x1, x2, t) son las bases del polinomio y ai son los coeficientes. Ej (cu�dricas): ?i(x1, x2, t)=1, x1, x2, t, x12, x22, x1x2, x1t, x2t El m�todo de Horn-Shunck impone restricci�n de suavidad sobre la imagen. Esto tiene dos efectos no deseados. La restricci�n de suavidad no se da en la direcci�n perpendicular a la frontera de oclusi�n. Puede haber cambios bruscos en la frontera de los objetos (motion edges). La soluci�n esta en imponer solo suavidad en la direcci�n donde la frontera no tiene cambios significativos (restricci�n de suavidad direccional). Estos m�todos de restricci�n adaptativa pueden aplicarse mediante la expresi�n: donde W es una matriz de pesos que penaliza la variaci�n del campo de movimiento en funci�n de los cambios espaciales(Ver Tekalp pag 87-88).

31. 1.3.1 M�todos OFE. Evaluaci�n de la bondad de una estimaci�n de movimiento: Proporci�n de picos debidos a se�al de ruido (PSNR): Se calcula a partir del desplazamiento de diferencia de frames DFD. donde d1 y d2 son los desplazamientos estimados en cada p�xel. Entrop�a �H� del campo de movimiento estimado: donde P(d1) y P(d2) denotan la frecuencia relativa de ocurrencia en las componentes horizontal y vertical del vector de movimiento d. Es una medida de la suavidad del campo de movimiento, y tiene especial inter�s en compresi�n de v�deo basado en estimaci�n de movimiento. Es de destacar que la media absoluta de DFD no da una medida de la bondad de la estimaci�n.

32. 1.3.2 M�todos por bloques. Modelo de movimiento: Son muy utilizados en compresi�n de v�deo (H.261 y MPEG 1-2). Se usan tambi�n en filtros de compensaci�n de movimiento para conversiones est�ndar. Los movimientos basados en bloques, asumen que la imagen est� compuesta por dos tipos de movimiento: 1) Simple movimiento en traslaci�n 2D. 2) Deformaciones 2D en los bloques. (Secci�n 6.5, Tekalp) En el primer caso el movimiento de cada bloque consiste en una traslaci�n pura. Sea uno de los N X N bloques B en el frame k centrado en n = (n1, n2) modelados con desplazamiento del mismo tama�o a k + l. d1 y d2 son las coordenadas de desplazamiento. Por tanto la cuesti�n se reduce a encontrar una correlaci�n entre bloques en los frames k y k+l. En este proceso puede darse superposici�n de bloques como se ve en la figura. Cuando no hay superposici�n al bloque entero se asigna un vector de movimiento. En el otro caso se calcula el movimiento promedio en la regi�n de solapamiento.

33. 1.3.2 M�todos por bloques. a) Sin superposici�n. b) con superposici�n Estos m�todos requieren s�lo necesitan un movimiento por bloque. Fallan para procesos con zoom, movimiento rotacional y deformaciones locales. Adem�s, la divisi�n en bloques no se ajusta a la forma de los objetos.

34. 1.3.2 M�todos por bloques. M�todo de correlaci�n de fase: La idea es recoger ese movimiento discreto del que hemos hablado en la ecuaci�n anterior en el espacio de frecuencias con l =1. (1) donde Sk(f1,f2) denota la transformada de fourier del frame k para las variables espaciales x1 y x2. La diferencia de fase en el plano de frecuencias f1 y f2 vendr� dado por 2? (d1f1+d2f2). Un problema que aparece en el plano imagen es que a veces este movimiento queda oculto. En otras situaciones aparecen varios objetos movi�ndose dentro del bloque y no es f�cil su identificaci�n. El m�todo de correlaci�n de fase, facilita estas tareas por medio del desplazamiento relativo de bloques mediante una funci�n de correlaci�n computada en el espacio de frecuencias. El poder espectral entre los frames k y k+1 es definida como:

35. 1.3.2 M�todos por bloques. Esta operaci�n corresponde a una convoluci�n o m�s simplemente el producto de sus respectivas transformadas (ver Gonzalez-Wintz 87). Normalizando el poder espectral CN, obtenemos su fase y sustituyendo la eq. (1), llegamos a la siguiente expresi�n: El proceso a seguir ser�a el siguiente: Calculamos una DFT para cada bloque de los frames k y k+1. Computamos la fase del poder espectral. Computamos una DFT inversa de CNk,k+1(f1,f2) para obtener la funci�n correlaci�n de fase cNk,k+1(n1,n2). Localizamos los picos de la funci�n correlaci�n de fase. Problemas: Pueden afectar las discontinuidades en la frontera apareciendo picos falsos. Es deseable que los desplazamientos se correspondan a un entero m�ltiple del intervalo de cambio en el dominio de frecuencias. El tama�o del bloque debe ser grande para detectar el desplazamiento, y no demasiado para que el desplazamiento sea constante en el bloque.

36. 1.3.2 M�todos por bloques. Funci�n de correlaci�n de fase.

37. 1.3.2 M�todos por bloques. Correspondencias entre bloques: Criterio de correspondencia. Estrategia de b�squeda. Determinaci�n del tama�o del bloque. M�nimo error cuadr�tico medio (MSE): se busca el bloque de tama�o N1 y N2 que minimice ese error. M�nima diferencia en valor absoluto(MAD): El segundo es m�s utilizado en operaciones realizadas con hardware. Estos m�todos pueden realizar una estimaci�n err�nea ante la existencia de m�nimos locales.

38. 1.3.2 M�todos por bloques. Estrategia de b�squeda: (left) Three-step search. (right) Cross-search

39. 1.3.2 M�todos por bloques. Estimaci�n jer�rquica: (left) Representaci�n jer�rquica. (right) B�squeda jer�rquica.

40. 1.3.2 M�todos por bloques.

41. 1.3.2 M�todos por bloques. Modelos de bloques deformables: a) Segmentar el frame actual en bloques de rect�ngulos o tri�ngulos. b) Utilizaremos una funci�n de transformaci�n que perturbaremos. Ej: transformaci�n af�n, transformaci�n en perspectiva y transformaci�n bilineal. c) Transformaremos los p�xels del frame actual sobre el nuevo frame calculando la correspondencia entre puntos. d) Elegiremos aquella transformaci�n espacial que minimice MSE o MAD. Modelo basado en bloque deformables.

42. 1.3.2 M�todos por bloques. Modelo de bloques regular y adaptativo

43. 1.3.3 M�todos recursivos. Los m�todos recursivos realizan estimaciones del tipo predicci�n-correcci�n de la forma: donde d(x,t,?t) denota el vector de movimiento estimado en la localizaci�n de x y tiempo t, di(x,t,?t) denota la estimaci�n de movimiento predicho y u(x,t,?t) denota la actualizaci�n entre los dos t�rminos. Generalmente, el mejor estimador encontrado en el paso previo es tomado como predicci�n en el siguiente de forma que se minimice la diferencia de desplazamiento entre los dos frames (DFD). As�, el DFD entre los instantes de tiempo t y t�=t+?t se define como: donde sc(x1,x2,t) denota la variaci�n de intensidad a medida que cambia t. Si expandimos por series de Taylor sc(x+d(x),t+?t) para d(x) y ?t peque�as,

44. 1.3.3 M�todos recursivos. Sustituyendo (3) en (2) y eliminando los t�rminos de orden superior tenemos: Vemos que dicha expresi�n en muy parecida a la ecuaci�n de flujo OFE. Si ?t ? 0 se obtiene OFE: Si ?t es finito, es necesario estimar el vector desplazamiento d(x) entre los dos frames: (a) Mediante estrategia de correspondencia entre bloques. (b) Usando una estrategia de optimizaci�n por descenso de gradiente (aproximaci�n recursiva). (c) Tomando t=1 y dfd(x,d)=0 y solucionando la ecuaci�n (4) usando un bloque de p�xeles.

45. 1.3.3 M�todos recursivos. Algoritmo de Netravali-Robbins: Consiste en encontrar una estimaci�n del vector desplazamiento que minimice la siguiente funci�n: Mediante el m�todo por descenso de gradiente podemos hacer la siguiente iteraci�n: Para resolver el gradiente a partir de la expresi�n (2) tenemos: Y expandiendo la intensidad sc en torno a un punto arbitrario x + d en series de Taylor alrededor de x + di, tenemos:

46. 1.3.3 M�todos recursivos. Sustituyendo esta �ltima expresi�n en la anterior nos queda: Como ?x sc(x-d,t-?t)|d=di = ?x sc(x-di,t-?t), podemos expresar el gradiente de la DFD con respecto de d en t�rminos de gradiente espacial de la intensidad de imagen: As�, el proceso de iteraci�n nos queda: En esta �ltima expresi�n, el primer y segundo t�rmino son la predicci�n y el t�rmino de actualizaci�n. Con el par�metro ? establecemos la rapidez con que converge el algoritmo.

47. 1.3.3 M�todos recursivos. Algoritmo de Walker-Rao: En la vecindad de una zona de alto gradiente donde |?sc(x1,x2,t)| es alto, el par�metro ? deber�a ser peque�o si la DFD queremos que sea peque�a a fin de asegurar una buena convergencia. An�logamente, en im�genes con �reas uniformes donde |?sc(x1,x2,t)| es peque�o necesitamos el proceso inverso. Para este fin proponen la siguiente expresi�n: Adem�s, introducen las siguientes reglas heur�sticas: a) Si el DFD es menor que un cierto umbral el t�rmino de actualizaci�n es igual a cero y el proceso se para. b) Si la DFD excede el umbral pero el gradiente espacial es cero, el t�rmino de actualizaci�n es igual a cero y el proceso se para. c) Si el valor absoluto del t�rmino de actualizaci�n para cada componente es menor que 1/16 se le asigna al t�rmino ?1/16. d) Si el valor absoluto del t�rmino de actualizaci�n para cada componente en mayor que 2 se le asigna al t�rmino ? 2.

48. 1.3.3 M�todos recursivos. Caffario y Roca tambi�n desarrollan una expresi�n similar: donde el t�rmino ?2, impide una divisi�n por cero en el caso de �reas con intensidad constante donde el gradiente espacial es casi cero. Un t�pico valor de ?2 = 100. Experimentalmente se comprueba que con 5 iteraciones los resultados suelen ser satisfactorios. Extensi�n a un modelo de bloques: La cuesti�n consiste en dado un p�xel x, crear partiendo de los p�xeles vecinos un bloque B de forma variable, tal que se minimice la siguiente DFD: Siguiendo un proceso como antes llegamos a la siguiente expresi�n de iteraci�n:

49. 1.3.3 M�todos recursivos. Soporte causal de x para N = 7. Estimaci�n de Wiener: Supone una extensi�n del algoritmo de Netravali-Robbins sobre bloques basado en m�nimos cuadrados . Se trata de minimizar el error en el t�rmino de actualizaci�n partiendo de la expresi�n (1): donde d(x) es el vector desplazamiento real del bloque. Sea un bloque con N vecindades del p�xel x, entonces a partir de la expresi�n (6) podemos obtener la siguiente forma matricial:

50. 1.3.3 M�todos recursivos

51. 1.3.4 M�todos bayesianos. Estimaci�n 2D basada en m�xima probabilidad a posteriori (MAP): Requiere dos funciones de densidad de probabilidad (pdf): La probabilidad condicional pdf de la intensidad de imagen observada dado el campo de movimiento, tambi�n llamado modelo likelihood o modelo de observaciones. La probabilidad a priori pdf de los vectores de movimiento o modelo de campo de movimiento. Sea la intensidad de campo en un p�xel x y el frame k, sk(x) y d(x)=(d1(x),d2(x)) denota el vector desplazamiento. En general, cuando observamos v�deo, este esta corrompido por la adici�n de ruido de la forma gk(x) = sk(x) + vk(x). El b�sico MAP para dos frames gk(x) y gk-1(x) es: Utilizando el teorema de bayes:

52. 1.3.4 M�todos bayesianos. donde p(gk|d1,d2,gk-1) es la probabilidad condicional o medida de consistencia que mide como de bien es estimado el desplazamiento d1, d2 sobre gk dado gk-1, y p(d1,d2|gk-1) es la pdf a priori del campo de movimiento reflejado en el conocimiento que tenemos del estado actual en gk-1. El denominador no dependen de d1 , d2 y puede considerarse constante en el prop�sito de la estimaci�n. El cambio de la intensidad en un p�xel a lo largo de una trayectoria de movimiento verdadera es debido a la observaci�n de ruido. Asumiendo que la observaci�n de ruido es �blanco�, este puede considerarse una gaussiana de media cero y varianza ?2. Entonces la pdf condicional puede modelarse como: donde d(?) denota el determinante de ?, el cual viene dado por la densidad de muestreo de la imagen (resoluci�n de la imagen).

53. 1.3.4 M�todos bayesianos. La pdf a priori viene dada por el campo de movimiento en el frame gk-1, que puede ser modelizado mediante muestreo de Gibbs GRF, donde la funci�n de potencial viene impuesto por la variaci�n de contraste p�xel a p�xel: Qd es llamada funci�n de partici�n y Ud es la energ�a interna de Gibbs. Cd es el conjunto de todos los clich�s para el campo de desplazamiento y Vcd() representa la funci�n de potencial del clich� para c?Cd y ?d es una constante positiva. El potencial del clich� variara asignando probabilidades en funci�n de las variaciones existentes p�xel a p�xel. Ej: Demostraci�n del modelo de Gibbs Este modelo de potencial para 4-vecinos viene definido por

54. 1.3.4 M�todos bayesianos Campos aleatorios de Gibbs. Dado un sistema de vecindades N asignado al conjunto de clich�s C, definimos un campo aleatorio de valores discretos: donde ?i es la delta de dirac, y normalizando constante Q llamada funci�n partici�n, queda: Para valores continuos en campos aleatorios donde la funci�n partici�n es y U(z) es la energ�a interna de Gibbs definido por

55. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG-1 y MPEG-2). (left) Digital video studio standards. (Right) Wold standards for image compression.

56. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG-1 y MPEG-2). Est�ndar H.261 (1990): Desarrollo de v�deo compresi�n est�ndar para facilitar servicios de v�deo-conferencia y v�deo-tel�fono. Informaci�n p X 64 kbps, p= 1,...,30. Para p=1, es usado en v�deo-tel�fono donde 48 kbps es se�al de v�deo y 16 kbps es se�al de audio. Para p>=6, 384 kbps o m�s, es usado en v�deo-conferencia. Para p=30, 1.92 Mbps, es suficiente para im�genes con calidad VHS o mejores. Proyecto COST(CoOperation in the field of Scientific and Technical reseach) 1983-1990. En 1985, sale el est�ndar H.120, n x 384 kbps, n= 1..5. Caracter�sticas: Perdida m�xima de codificaci�n 150 msec. Pensado para un sistema bidireccional. Sensible a implementaciones VLSI de bajo costo y aplicable a sistemas comerciales de v�deo-tel�fono y tele-conferencia. Acceso secuencial en el almacenamiento de la informaci�n. Formatos de imagen: Common Intermediate Format (CIF) y QCIF (one-quarter of the CIF).

57. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG-1 y MPEG-2). Tabla 23.1. H.261 input image formats. Compresi�n similar a JPEG basado en block-by-block DCT: Estimaci�n de movimiento (desplazamiento) de cada bloque macroblocks (MB) Selecci�n del modo de compresi�n en cada MB basada en el desplazamiento. Para cada MB se genera una cabecera con el modelo elegido.

58. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG-1 y MPEG-2). Est�ndar MPEG-1: (1992) Compresi�n/Descompresi�n de CIF v�deo con 1.5 Mbps. Soporta operaciones de estimaci�n de movimiento, predici�n, DCT, cuantizaci�n y codificaci�n de longitud variable. An�logamente al H.261, no tiene un modelo estandar de compresi�n o estimaci�n. Propiedades: Acceso aleatorio en aplicaciones de almacenaje de v�deo. B�squeda r�pida para selecci�n de determinados frames. Permite p�rdidas de codificaci�n de hasta 1 segundo. 720 pels/line, 576 lines/pic, 30 pic/sec, 396 MB/pic, 9900 MB/sec Group of pictures (GOP). I-picture: Intra-frame DCT encoded. P-picture: inter-frame encoded pictures for forward prediction. B-picture: inter-frame encoded pictures for forward, backward, or bidirectional relative to other I- or P-pictures. D-picture: contain only the DC component of each block.

59. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG1 y MPEG2). 23.5 Group of pictures in MPEG-1

60. 1.4 Nociones sobre compresi�n de v�deo (H.261, MPEG-1 y MPEG-2). Est�ndar MPEG-2: Permite entradas interlazadas, definir alta definici�n y alternativos submuestreos del canal chroma. Mejora la cuantizaci�n y opciones de codificaci�n. Ofrece un bitstream escalable: Escalabilidad espacial (resoluci�n p�xel), Escalabilidad SNR (diferentes pasos para cuantizar los coeficientes DCT) y Escalabilidad temporal (decodificar diferentes tama�o de frame sin tener que hacerlo frame a frame). 23.11. A GOP for an interlanced video