Forma a partir de la sombra Shape from shading

1. Forma a partir de la sombra Shape from shading Capt 7 y 8 Klette,schluns,koschan

2. Introducción • Shape from shading es el problema de obtener una representación tridimensional a partir de una única imagen de irradiancia. • Los métodos generalmente asumen conocido el mapa de reflectancia que modela la iluminación y la propiedades de reflexión del objeto. • Factores que interaccionan: iluminación, reflexión, geometría del objeto y características del sensor • El proceso es estrictamente el inverso del seguido en el caso de la síntesis de imagen mediante renderización realista.

3. Restricciones • Iluminación: se conoce la irradiancia y dirección de la iluminación y si la radiación es paralela, difusa o puntual. No hay interacción entre objetos. • Reflexión: usualmente superficies lambertianas de albedo conocido o lineales • Mapa de reflectancia: conocido, a veces se asume localmente lineal. • Geometría: la superficie es continua. A veces se requiere conocimiento de puntos específicos • Sensor: lineal • Proyección: usualmente ortográfica.

4. Tipos de métodos SFS • Métodos de propagación: propagan el conocimiento de la altura de puntos concretos. • Métodos globales: tratan la imagen como un todo e intentan minimizar un funcional adecuadamente definido • Métodos locales: estiman la geometría del objeto a partir de un entorno reducido de un punto de la imagen.

5. Asunciones • Rayos paralelos de iluminación • Iluminación constante en la superficie. • Superficie continua y diferenciable. • Proyección ortográfica • Sensor lineal

6. Interpretación directa • Teorema: bajo la asunción de un mapa de reflectancia Lambertiano con qs=ps=0 la imagen de irradiancia de una esfera corresponde a su mapa de altura relativa, hasta un factor de escala conocido. Asume el centro de la esfera en el punto Asume radio r. Punto visible en la esfera Normal a un punto de la esfera Imagen generada por proyección ortográfica Es el factor de escala

7. El teorema se generaliza para otras geometrías, pero se aprecian buenos resultados en general para superficies que aproximan la hipótesis lambertiana.

8. Métodos de propagación A partir del conocimiento de la altura de algunos puntos se propaga al resto de la imagen siguiendo las características de la imagen. Mapa de reflectancia lineal La función h es monótona e invertible, y es conocida como resultado de los estudios de modelado de la superficie. Los parametros a y b son conocidos Los gradientes de la superficie consistentes con E(x,y) corresponden a una línea.

9. Método de Horn Pendiente de la superficie en dirección respecto de la imagen. Existe una dirección privilegiada Para la que: No depende de (p,q). La pendiente en esta dirección puede calcularse a partir de la irradiancia E(x,y). Pequeños pasos en esta dirección comenzando desde un punto (x0,y0) corresponden a pequeños incrementos en la profundidad proporcional a la pendiente

10. Conocida la profundidad Z0 en un punto (x0,y0) se pueden determinar las profundidades a lo largo de la dirección Si sólo se conoce un punto, sólo se puede determinar la profundidad en una línea (línea característica). Si se conocen los valores de profundidad a lo largo de una línea Z0(t) no paralela a la dirección entonces se puede reconstruir toda la superficie.

11. ejemplo Describe círculos de radio paralelos al plano Z=0 Si para una curva se conoce Se puede calcular toda la superficie de la esfera

12. Mapas simétricos rotacionalmente h monótona invertible y diferenciable Se puede calcular la pendiente asumiendo la ecuación Pero no se puede recuperar la dirección del gradiente. produce Un paso en la dirección del gradiente Las variaciones de gradiente se aproximan linealmente en función de las derivadas parciales de la imagen. Caso general

14. Métodos de optimización global Se utiliza toda la imagen en la estimacion que se realiza mediante la minimización de un funcional definido en base a la restricción de irradiación: la imagen de irradiancia debe ser igual a la reflectancia dada por los gradientes calculados. Proyección ortográfica En coordenadas estereográficas En función de la normal

15. Regularización o restricción de suavidad: exige la continuidad de los gradientes. Minimiza las segundas derivadas de la superficie para obtener la solución con mínimas variaciones bruscas o discontinuidades. Relación de las derivadas parciales de los gradientes respecto de la superficie. Alternativa simplificada que no incluye derivadas cruzadas

16. Alternativamente la restricción de suavidad puede representarse en coordenadas estereográficas (apropiado en el caso de oclusiones) o en función de la normal. En función de las variaciones de la normal También se puede formular en el dominio transformado, minimizando la magnitud de los coeficientes transformados de las altas frecuencias.

17. Restricción de integrabilidad: Continuidad de las primeras derivadas de la superficie. Evita que distintos caminos de integración conduzcan a soluciones distintas. Restricción del gradiente de la irradiancia (intensidad de la imagen): compara los gradientes de la imagen y el mapa de reflectancia. Restricción de normalización de la normal: para evitar variaciones debidas a variaciones del albedo y errores numéricos.

18. Combinación de restricciones

19. Minimización del funcional mediante discretización (cálculo variacional) Aproximación discreta de Se convierte en el error La minimización se realiza buscando la raiz de la derivada del error respecto de los parámetros funcionales Valores promedio en un vecindario

20. Mascaras de promediado para calcular El esquema iterativo de resolución tiene la forma: Las condiciones iniciales para la iteración se benefician de conocer algunos valores (en la imagen los contornos de una esfera)

21. Inicialización del algoritmo de Ikeuchi, Horn para el caso de la esfera

22. Las condiciones iniciales determinan el mínimo local al que tiende la iteración EL valor de l condiciona el resultado forzando o no la suavidad de Dirección de la fuente de iluminación Cálculo del mapa de reflectancia Iteración pixel (i,j)

24. Métodos locales (Lee, Rosenfeld) Utilizan sólo las irradiancias locales (un vecindario en la imagen) para calcular la forma correspondiente a un punto de la imagen. Aproxima el objeto en cada punto de la imagen como una esfera para resolver las ambigüedades sobre la geometría local conocida. Se realiza un cambio de coordenadas de la cámara alineando el eje óptico con la dirección de la fuente de iluminación. (XYZ) pasa a (X*Y*Z*) alineado Z* con so. El mapa de reflectancia es rotacionalmente simétrico El tilt de la orientación de la superficie no puede determinarse a partir de las derivadas parciales de la función de irradiancia E(x,y) si la geometría del objeto se aproxima localmente por una esfera. Slant y tilt de la iluminaciónso: (s,q). Slant y tilt de la orientación de la superficieno: (z,J).

25. Cambio de coordenadas al sensor alineado con la fuente Esfera centrada en el origen Orientación en (X,Y) Dirección de iluminación Imagen de irradiancia Las derivadas parciales y su transformación al nuevo sistema de coordenadas

26. Cálculo del slant: en el espacio transformado alineando el sensor y la fuente de luz se cumple Conocido se puede determinar Cuando están alineados sensor y fuente de iluminación Transformación al espacio original Recuperación de los ángulos a partir de la normal

29. Iluminación estructurada • Iluminación estructurada consiste en la proyección de patrones lumínicos sobre la escena. • Los patrones se proyectan en los objetos que caen en el campo visual de la cámara. • La distancia a la cámara o la localización espacial puede determinarse analizando los patrones de iluminación observados en la imagen. • Un punto (x,y) en la imagen restringe los puntos 3D (X,Y,Z) correspondientes a un subespacio de la escena: una pirámide de cuatro lados infinita. Conocidos los parámetros intrínsecos se puede caracterizar este espacio, que idealmente se reduce a una línea l. • La iluminación estructura trata de intersecar l con otro rayo l‘ o plano p de forma que se determine la posición del objeto sin necesidad de calcular correspondencias.

30. La iluminación estructura puede considerarse como una variante del caso estereo, donde la segunda cámara se sustituye por la luz proyectada. La complejidad del proceso se transfiere de la fundamentación matemática al diseño del sistema de iluminación y al control de las condiciones de captación. La iluminación puede permanecer estática o no a lo largo del proceso de estimación de la profundidad. Existen distintos tipos de iluminación. Proporciona resultados de gran precisión. Se denominan escaners 3D o escaners de rango.

31. Proyección de puntos Light spot projection La intersección del rayo de proyección y el rayo de iluminacion determina la distancia a la cámara. Iluminación producida por un laser controlado (situación 2D) El ángulo b está determinado por los parámetros de la transformación de visualización. El ángulo a está determinado por el control del laser

32. Conocidos los ángulos y la distancia de base entre la cámara y el centro de rotación del laser se puede calcular la distancia. En coordenadas de la cámara

33. Teorema del rayo Geometría de los triangulos

34. Problemas: Limitaciones de visibilidad Velocidad de medida dependiente del control del laser y el tiempo de detección del spot. Calibración precisa de la cámara y el laser. Detección precisa del spot en la imagen.

35. Análisis estereo de puntos de iluminación: se basa en la combinación de las técnicas de spot illumination con las de estéreo estático. Simplifica el análisis de correspondencias del estéreo No necesita la calibración y control preciso del laser.

36. Proyección de líneas Acelera los procesos de cálculo. Pueden utilizarse laser o proyectores de luz con una máscara de línea.

37. Imagen de M columnas El plano de luz es perpenticular al plano de referencia. El plano de referencia está definido por los ejes verticales de la cámara y el proyector del plano de luz. Ángulo entre el plano de referencia y el eje óptico Ángulo entre los ejes ópticos de la cámara y el proyector del plano de luz. Ángulo entre el plano de referencia y el plano definido entre el centro óptico de la cámara y la columna izquierda

38. Estimación de los ángulos: Se tiene un objeto de calibración planar orientado paralelo al plano de referencia. Se desplaza a lo largo del eje óptico del generador del plano de luz. Cuando la proyección del objeto de calibración está en el centro de la imagen, se calcula la distancia DZ relativa al plano de referencia. Cuando la proyección del objeto se encuentra en el extremo izquierdo de la imagen se mide la distancia D0 relativa al plano de referencia. Anchura de la parte visible del sensor

39. aplicando obtenemos La distancia entre la columna 0 y una columna k se puede calcular por: Y el ángulo Podemos recuperar los ángulos cuando el punto de luz cae en la columna k.

40. Relación entre la distancia al plano de referencia y las columnas de la imagen para distintas configuraciones. Se muestra también la resolución del cálculo de la profundidad. Una configuración del sistema.

41. Para obtener un objeto tridimensional se mantiene estático el plano de luz y se gira el objeto. La sucesión de perfiles se interpreta como un objeto 3D.

42. Alternativamente pueden proyectarse varios planos de luz para recuperar de un solo golpe información sobre toda la escena. Problema: identificar desde la cámara las lineas de luz correspondientes a cada plano de luz. Aplicación interesante: probar la planaridad de objetos.

43. Proyección de patrones codificados Se proyectan sobre la escena patrones de iluminación que codifican los posibles planos de iluminación. Se consigue reducir el número de imágenes (proyecciones de planos de luz) necesarias para muestrear la escena completa. Se capturan 8 imágenes, cada una con un patrón impuesto. En la reconstrucción, la combinación de las imágenes permite acceder al plano de iluminación correspondiente a cada columna. Es preciso un proceso de calibración específico.

44. Ejemplo de aplicación sobre un cubo con planos horizontales de iluminación.

45. Estéreo fotométrico Estéreo fotométrico se refiere al conjunto de técnicas que utilizan varias imágenes para calcular la superfice del objeto en función del sombreado. Las imágenes de estéreo fotométrico se adquieren bajos distintas condiciones de iluminación: el objeto se ilumina consecutivamente desde distintas fuentes. En cada imagen sólo una fuente está encendida. No se precisa resolver problemas de correspondencias entre las imágenes, ya que el mismo pixel corresponde siempre al mismo punto de la escena. Los métodos pueden ser dependientes o independientes del albedo.

46. Limitaciones de Shape from shading sobre una imagen. • El término E0r es conocido y constante. • Para un mapa de reflectancia Lambertiano reduce las soluciones a una sección cónica del espacio gradiente. • La radiancia se estima constante y medible mediante un procedimiento de calibración. El albedo puede estimarse en orientaciones en las que la normal a la superficie es colineal con la iluminación. • En el caso de que el albedo no sea constante se asume que es constante por trozos que corresponden a segmentaciones de la imagen. • La superficie es al menos continua C(1). No es posible tratar objetos poliédricos. • Se conocen las coordenadas 3D de puntos singulares y/o orientaciones singulares (conflicto cóncavo/convexo).

47. Imagen obtenida de un la renderización de una esfera con un mapa de reflectancia Lambertiano. No se puede discriminar la convexidad o concavidad a menos que se fijen los valores de puntos singulares de la superficie. La intensidad en la imagen es máxima en los extremos de la curva, cuando la normal es colineal con la dirección de la iluminación. La intensidad es mínima en los puntos de inflexión en los que la normal y la dirección de iluminación subtienden un ángulo de 45°. Las normales que son consistentes con la irradiancia son dos.

48. Análisis de pares de imágenes Se asumen dos fuentes de iluminación no colineales con direcciones s1 y s2. Para cada punto en la imagen obtenemos valores de irradiancia E1 y E2 con cada iluminación. Las imágenes se toman consecutivamente con cada iluminación por separado. El objeto y la cámara están en posición fija. Ambas irradiancias son positivas. Cada fuente de luz ilumina una hemiesfera gausiana.Todos los puntos visibles reciben iluminación de una fuente si la dirección del eje óptico y la iluminación coinciden. Si el objeto no es convexo pueden producirse sombras. Sólo puede recuperarse aquella parte de la superficie iluminada por las dos fuentes. La porción del área iluminada depende del ángulo g entre las fuentes (cuanto más pequeño mayor el área común).

49. La dirección de la cámara deberá estar entre las direcciones de iluminación para que sea visible la zona iluminada por las dos fuentes. La cardinalidad del área iluminada simultáneamente viene dada por una luna que depende de a=p-g.

50. Mapas de reflectancia lineales respecto del espacio gradiente. La irradiancia medida en un pixel p en cada una de las imágenes produce una restricción que es una línea para cada dirección de iluminación. La intersección en el espacio gradiente de estas lineas representa la orientación consistente del punto en la superficie correspondiente al pixel.