UMA ABORDAGEM PARA A OBTENÇÃO DE INFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA

1. UMA ABORDAGEM PARA A OBTENÇÃO DEINFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA João Manuel R. S. Tavares

2. Introdução • A obtenção de informação 3D é essencial em muitas aplicações de Visão Computacional: • Reconstrução 3D de cenas e objectos: prototipagem rápida, actores e objectos virtuais, reconstrução facial, levantamento de peças esculpidas; • Seguimento do movimento 3D de objectos: sistemas de navegação e identificação; • etc. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

3. Introdução • Em Visão Computacional existem várias técnicas para obter informação 3D: • Passivas: Não envolvem a projecção de energia. • Activas: Envolvem a projecção de energia ou movimento relativo. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

4. Introdução • Neste trabalho é usada uma metodologia para obter informação 3D de uma cena ou objecto a partir do movimento de uma câmara. • Pressupostos: • Considera-se a cena ou o objecto como constituídos por segmentos de recta. • O movimento da câmara é perfeitamente conhecido (posição e orientação relativamente a um referencial mundo). • Não são medidas as velocidades nem as acelerações das entidades. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

5. Metodologia Usada • A metodologia usada neste trabalho consiste nas seguintes etapas: • Calibração da câmara usada; • Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência; • Simplificação das entidades presentes em cada imagem; • Seguimento 2D das entidades consideradas ao longo da sequência de imagens; • Obtenção de informação tridimensional dos pontos que constituem cada entidade. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

6. Metodologia Usada Mundo 3D ... ... Hardware de Hardware de aquisição de imagem aquisição de imagem Mundo 3D Calibração Imagem k+1 Imagem k Determinação das coordenadas 3D das entidades Detecção de edges Detecção de edges Modelo 2D Emparelhamento Seguimento de linhas e Seguimento de linhas e aproximação poligonal aproximação poligonal Fusão de entidades próximas Fusão de entidades próximas Parametrização Parametrização e de direcções similares e de direcções similares das entidades das entidades Determinação e simplificação das entidades Seguimento 2D - João Manuel R. S. Tavares

7. Calibração • A calibração de uma câmara é a determinação da relação matemática que transforma pontos 3D em pontos 2D: Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões • Procedimento: • Determinação das coordenadas 2D na memória frame dos pontos de calibração; • Agrupamento das coordenadas 3D mundo e 2D na memória frame dos pontos de calibração; • Calibração da câmara e do respectivo hardware. - João Manuel R. S. Tavares

8. Calibração Imagemoriginal Orlas Pontos de calibração determinados Rectas obtidas por regressão • Determinação das coordenadas 2D na memoria frame: • Determinação das orlas de intensidade; • Seguimento das orlas; • Regressão linear das orlas seguidas; • Determinação dos pontos de calibração. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

9. Calibração • Calibração realizada usando pontos coplanares e um método baseado no proposto por Lenz e Tsai: • Determinação do factor de incerteza horizontal; • Determinação das coordenadas do centro da imagem na memória frame; • Determinação dos restantes parâmetros de calibração: pose - matriz de rotação 3D e vector de translação 3D, parâmetros internos - distância focal e factor de distorção. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

10. Entidades Imagem original Após aproximação Após aproximação mais “larga” • Determinação dos segmentos de recta: • Sujeitar cada imagem da sequência a um detector de orlas de intensidade de forma a classificar cada pixel em termos de amplitude e de direcção; • Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para agregação - histerese), das várias linhas presentes em cada imagem de orlas; • Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

11. Entidades Segmentos originais Após fusão Após fusãomais “larga” • Simplificação dos segmentos de recta: • Em cada imagem da sequência, segmentos de recta próximos e de características semelhantes são fundidos. • Vantagens: O seguimento torna-se mais fácil e menos dispendioso em termos de recursos computacionais. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

12. Seguimento • Etapas da abordagem utilizada: • Parametrização das entidades a seguir: coordenadas do ponto médio, direcção e comprimento; • Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial: três filtros de Kalman independentes; • Emparelhamento das entidades entre duas imagens sucessivas: distância normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento); • Actualização e gestão de um modelo 2D de entidades. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

13. Triangulação • Abordagem usada para obtenção da informação 3D: • Resolução do sistema de projecção estéreo para obter as coordenadas 3D dos pontos extremos de cada entidade emparelhada em duas imagens distintas (triangulação); • Determinação de uma aproximação da profundidade dos restantes pontos utilizando interpolação linear das profundidades dos pontos extremos. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

14. Resultados 2ª imagem Entidades determinadas Entidades simplificadas Entidades na sequência • Oito imagens de um cubo obtidas por rotação de uma câmara calibrada usando o método adoptado: Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

15. Resultados Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões Sequência original Orlas determinadas Rectas determinadas - João Manuel R. S. Tavares

16. Resultados Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões Entidades consideradas Seguimento obtido - João Manuel R. S. Tavares

17. Resultados imagem 1ª 2ª 3ª 4ª Ref TEm TEm TEm TEm 1 I KRG KM KM 2 I F F F 3 I F F F 4 I KRG KM KM 5 I F F F 6 I F KRG KM 7 I KRG KM KM imagem 5ª 6ª 7ª 8ª Ref TEm TEm TEm TEm Entidades detectadas na 1ª imagem da sequência 1 KM KM KM KM 2 F KM KM KM 3 KRG KRG KRG KRG 4 KRG KM KM KM 5 KRG KM KM KM 6 KRG KM KM KM 7 KRG KM KM KM Legenda: Ref TEm - Referência, - Tipo de emparelhamento: I - KM Inicialização, - Filtros de Kalman e distâncias de KRG Mahalanobis, - Filtros de Kalman e restrições F geométricas, - falhado. Profundidade obtida P rocesso de seguimento Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

18. Resultados • 16 imagens de um cubo obtidas por translação da câmara previamente calibrada: Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões Orlas determinadas Sequência original - João Manuel R. S. Tavares

19. Resultados Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões Rectas determinadas Entidades consideradas Seguimento obtido - João Manuel R. S. Tavares

20. Conclusões • Foi apresentada uma abordagem para a obtenção de informação 3D de uma cena ou objecto, considerados como constituídos por segmentos de recta, a partir do movimento de uma câmara. • A referida abordagem é constituída pelas etapas: 1) calibração da câmara e respectivo hardware; 2) determinação das entidades; 3) simplificação das entidades; 4) seguimento das entidades ao longo da sequência; 5) obtenção das coordenadas 3D das entidades emparelhadas. • Alguns resultados experimentais obtidos foram apresentados e é possível verificar que a abordagem adoptada revela-se flexível e robusta. Introdução Metodologia Calibração Entidades Seguimento Triangulação Resultados Conclusões - João Manuel R. S. Tavares

21. Obrigado! UMA ABORDAGEM PARA A OBTENÇÃO DEINFORMAÇÃO 3D A PARTIR DE MOVIMENTO DE CÂMARA João Manuel R. S. Tavares