RECONSTRUÇÃO 3 D

1. RECONSTRUÇÃO 3D

2. EQUIPE Amora Cristina (acat) Anália Lima (alc5) Caio César (ccss2) Irineu Martins (imlm2) Ivson Diniz (ids) Laís Sousa (lsa)

3. Roteiro Introdução Conceitos Reconstrução Ativa e Passiva Reconstrução Baseada em Imagem Pipelines de Reconstrução Reconstrução Offline e Tempo Real Aplicações Tendências Futuras

4. introdução

5. VISÃO COMPUTACIONAL • Visão Computacional é a área da ciência que se dedica a desenvolver teorias e métodos de extração automática de informações úteis em imagens. • Busca extrair informações de forma o mais semelhante possível à realizada pelo ser humano no seu complexo sistema visual.

6. VISÃO COMPUTACIONAL • A Visão Computacional é, de certa forma, o inverso da computação gráfica.  VISÃO COMPUTACIONAL MODELOS 3D DADOS DE IMAGENS COMPUTAÇÃO GRÁFICA

7. RECONSTRUÇÃO 3D • “Reconstrução 3D é um campo de pesquisa que envolve várias técnicas com o propósito de recuperar modelos que representam de maneira precisa e em 3 dimensões, características de interesse (forma, estrutura, textura, etc.) de um objeto ou um conjunto de objetos específicos.” • ExperiencesontheImplementationof a 3D ReconstructionPipeline

8. conceitos

9. CONCEITOS • Uma imagem geralmente é uma projeção de um ambiente 3D num plano específico. • Para a Reconstrução 3D, é necessário saber alguns parâmetros de como a imagem foi construída a partir da cena. • Geometria Projetiva • É necessário saber como as imagens diferentes da mesma cena 3D se relacionam. • Geometria Epipolar

10. GEOMETRIA PROJETIVA • “Área da matemática que lida com as propriedades e a consistência (no sentido de mudança de sistema de coordenadas) de figuras geométricas em relação à projeção”. • A projeção pode ser ortográfica ou de perspectiva.

11. PROJEÇÃO ORTOGRÁFICA • Os pontos 3D seguem uma reta que é ortogonal ao plano. PLANO PROJETIVO

12. PROJEÇÃO ORTOGRÁFICA • Objetos mais distantes do plano são projetados com mesmo tamanho que objetos mais próximos. PLANO PROJETIVO

13. PROJEÇÃO DE PERSPECTIVA • Os pontos 3D seguem uma reta que vai de encontro a um ponto central de perspectiva. • Semelhante ao olho humano. PONTO CENTRAL DE PERSPECTIVA PLANO PROJETIVO

14. PROJEÇÃO DE PERSPECTIVA • Objetos mais distantes do plano são projetados com tamanho menor que objetos mais próximos.

15. GEOMETRIA PROJETIVA • A projeção ortogonal equivale a uma projeção de perspectiva quando o ponto central tem distância do plano projetivo tendendo ao infinito.

16. MODELOS DE CÂMERA • Baseiam-se em princípios da Geometria Projetiva • As câmeras convencionais utilizam projeção de perspectiva

17. MODELO DE CÂMERA PINHOLE • Modelo matemático de uma câmera pinhole ideal: C = centro da câmera f = distância focal z = profundidade PLANO DE VISTA z C f

18. MODELO DE CÂMERA PINHOLE • C é a origem do sistema. • Os vetores base desse sistema são u, v, n. • Qualquer ponto no plano de vista tem coordenadas (x,y,f) nas coordenadas da base da câmera

19. MODELO DE CÂMERA PINHOLE • Cada ponto (x, y, f) pode ser interpretado como um ponto do IR² (x, y) de coordenadas de tela. • Podem ser definidos parâmetros w e h, que correspondem à largura e altura de vista do plano. h w C

20. MODELO DE CÂMERA PINHOLE • Sejam P (x,y,z) e P’ (x’,y’,f), tal que, P’ é o ponto P projetado em perspectiva em relação a C. • Por proporção: • x’ / f = x / z • y’ / f = y / z (x,y,z) (x’,y’,f) C

21. MODELO DE CÂMERA PINHOLE • Vale ressaltar que o sistema da câmera não é o mesmo sistema das coordenadas de mundo. • Portanto, pontos com coordenadas no sistema mundial devem ter suas coordenadas convertidas para o sistema de câmera. • Nessa conversão, ocorrem processos de translação e rotação.

22. PARÂMETROS EXTRÍNSECOS • Os parâmetros extrínsecos descrevem a posição e orientação da câmera em relação ao sistema de coordenadas mundial. • A posição da câmera pode ser vista como uma translação, enquanto sua orientação pode ser descrita com operações de rotação.

23. PARÂMETROS EXTRÍNSECOS • Dessa forma, seja um ponto P com coordenadas do sistema mundial. O ponto P’ em coordenadas no sistema de câmera é: • Coordenadas euclidianas • P’ = t + R . P • Coordenadas homogêneas • P’ = T . p O C

24. COORDENADAS HOMOGÊNEAS • É utilizado em lugar do sistema de coordenadas cartesiano devido às vantagens que oferece no tratamento algébrico. • Com coordenadas homogêneas, pontos de um espaço de dimensão n são expressados com coordenadas de um espaço de dimensão n+1. • Conceitualmente, há infinitas coordenadas homogêneas para um ponto em particular.

25. COORDENADAS HOMOGÊNEAS • Seja um ponto P do IR2 (X,Y), as coordenadas homogêneas de P são quaisquer triplas [w, x, y] de números reais que satisfaçam as condições: • w > 0 • X = x / w • Y = y / w • Para P = (3,5), temos coordenadas homogêneas como [2, 6, 10], [10, 30, 50], [0.2, 0.6, 1.0]...

26. PARÂMETROS INTRÍNSECOS • Os parâmetros intrínsecos mostram como um ponto, em coordenadas de câmera, será escrito em coordenadas de imagem. • Dessa forma, temos um novo sistema: o sistema de coordenadas de imagem.

27. PARÂMETROS INTRÍNSECOS • A origem desse sistema é o canto superior esquerdo O. • A unidade básica é o pixel. Vale ressaltar que o tamanho do pixel não necessariamente equivale a uma unidade no sistema de coordenadas de câmera. O

28. GEOMETRIA EPIPOLAR • Geometria da visão estéreo.

29. GEOMETRIA EPIPOLAR • A visão do ser humano é estéreo – cada olho percebe o mundo de visões diferentes. • Cada olho funciona como uma câmera pinhole que captura o mundo de forma diferente, permitindo nosso cérebro estabelecer relações geométricas, que simulem o efeito de profundidade.

30. GEOMETRIA EPIPOLAR

31. GEOMETRIA EPIPOLAR • A idéia de reconstruir o ambiente 3D, tendo como base duas ou mais imagens é baseada na Geometria Epipolar. • Dependente dos parâmetros da câmera. • Independente da estrutura da cena.

32. GEOMETRIA EPIPOLAR l2 PLANO EPIPOLAR l1 m1 m2 C e1 e2 baseline C’

33. GEOMETRIA EPIPOLAR l1 = F . m1 l2 Matriz fundamental l1 m2T. F . m1 = 0 F . e1 = 0 m1 m2 C e1 e2 C’

34. TÉCNICAS DE RECONSTRUÇÃO

35. Técnicas de Reconstrução 3D • Técnicas Ativas • Técnicas Passivas

36. TÉCNICAS ATIVAS • São técnicas que interferem no ambiente para atingir os objetivos desejados. • Uma textura artificial é mapeada ao objeto • Textura produz características salientes da imagem possibilitando uma reconstrução 3D densa. • Exemplo: técnicas baseadas em infra-vermelho, luz estruturada, sonar, etc.

37. TÉCNICAS ATIVAS • Reconstrução 3D a partir de um scanner laser

38. TÉCNICAS ATIVAS • Reconstrução 3D a partir de luz estruturada

39. TÉCNICAS ATIVAS • Vantagens: • Conjunto denso de pontos pode ser extraído, mesmo para objetos sem textura. • Menor complexidade (ambiente controlado) • Desvantagens: • Possui restrições sobre o ambiente que vai ser reconstruído • Dificuldade encontrada para tratar objetos especulares

40. TÉCNICAS PASSIVAS • Essa classe de técnicas se baseia na captura de imagens da cena sob condições naturais de iluminação. • Não interfere no ambiente a ser reconstruído • Exemplo: StructurefromMotion

41. TÉCNICAS PASSIVAS • Reconstrução 3D a partir de imagens

42. TÉCNICAS PASSIVAS • Vantagens: • Apenas uma câmera é necessária para a captura das imagens (câmera comum de baixo custo) • Mais flexível (não precisa de ambiente controlado) • Desvantagem: • É mais complexa

43. RECONSTRUÇÃO BASEADA EM IMAGEM

44. TIPOS DE RECONSTRUÇÃO • Reconstrução esparsa: gera uma nuvem de pontos, a qual contém e representa informação 3D de cada um dos pontos da superfície do objeto a ser reconstruído. • Reconstrução densa: encontra o valor em coordenadas de mundo do maior número de pontos da imagem possível, além dos features já encontrados, para melhorar a qualidade do modelo.

45. RECONSTRUÇÃO ESPARSA • Primeiro Passo: Extração de features BundleAdjustment: Otimização da estrutura e parâmetros de visualização 3D (ou seja, a pose da câmera, distorção radial), minizando erro de reprojeção dos pontos. • Segundo passo: Determinação da localização 3D dos pontos selecionados como features.

46. RECONSTRUÇÃO ESPARSA Dubrovnik, Croácia

47. RECONSTRUÇÃO ESPARSA Sala dos Mapas, Roma

48. RECONSTRUÇÃO DENSA • Retificação da Imagem Uma série de transformações é aplicada às imagens, de forma que os pontos correspondentes estejam na mesma coordenada-y em ambos os quadros

49. RECONSTRUÇÃO DENSA • Próximos passos: • Nova seleção de features (busca mais simples e para quase todos os pixels da imagem) • Determinação de uma Matriz Fundamental mais precisa • Maior número de correspondências

50. RECONSTRUÇÃO DENSA Reconstrução 3D de uma avalanche em Marte