Download
1 / 71
710 likes | 830 Views
Tese de doutorado. Reconstrução de cenas a partir de imagens através de Escultura do Espaço por Refinamento Adaptativo. por Anselmo A. Montenegro. Orientadores: Marcelo Gattass, PUC-Rio Paulo Cezar Carvalho, IMPA. Roteiro. Introdução Trabalhos anteriores
E N D
Tese de doutorado Reconstrução de cenas a partir de imagens através de Escultura do Espaço porRefinamento Adaptativo por Anselmo A. Montenegro Orientadores: Marcelo Gattass, PUC-Rio Paulo Cezar Carvalho, IMPA
Roteiro • Introdução • Trabalhos anteriores • Processamento no espaço das imagens • Processamento no espaço da cena • O método proposto • Implementação do sistema • Resultados • Conclusões e trabalhos futuros
Motivação básica • Cenários virtuais • Telepresença • Jogos • Engenharia: “As-built” models Um sistema de modelagem de objetos baseado em câmeras e computadores pessoais para dar suporte a atividades como:
Reconstrução por superfícies Aquisição de dados Registro Estruturação Texturização Cena reconstruída
Reconstrução Volumétrica Características: • Representa a cena através de uma subdivisão volumétrica do espaço. • Não requer a solução explícita do problema de correspondências. • A solução é obtida através da satisfação de restrições. • Subdivide-se em duas classes: • Métodos baseados emsilhuetas. • Métodos baseados emfoto-consistência.
Reconstrução Volumétrica • Reconstrução volumétrica através de silhuetas: • Primeiro método de reconstrução volumétrica. • Procura estimar o Visual Hull: forma que quando visualizada reproduz as silhuetas observadas • Aproximado através de interseções de cones volumétricos. • Não captura formas com curvatura negativa.
Reconstrução Volumétrica • Reconstrução baseada em critérios de foto-consistência: • Baseia-se na existência de coerência das cores geradas pelos pontos da cena em cada uma das imagens. • Não requer uma segmentação explícita da cena em fundo e objeto. • Exemplos: • Coloração de voxels (Seitz e Dyer 1997/1999). • Escultura do espaço (Kutulakos e Seitz 2000). • Assume que a iluminação é localmente computável.
Reconstrução Volumétrica: cronologia Reconstrução baseada em silhuetas Reconstrução baseada em foto-consistência Representações por voxels Massone(85), Fromhertz(94,95) e Moezzi(96, 97) Seitz e Dyer (1997,1998) Seitz e Kutulakos (2000) Interseções entre Superfícies Martin e Aggarwal (83) Representações por octrees Chien(84, 85), Potmesil(87), Szeliski(93) Variações
Escultura do espaço no espaço das imagens Exemplo 1: não-foto-consistência
Escultura do espaço no espaço das imagens Exemplo 2: foto-consistência
Escultura do espaço no espaço das imagens Exemplo 3: não-foto-consistência trivial
Escultura do espaço no espaço das imagens Exemplo 4: foto-consistência trivial
Escultura do espaço no espaço das imagens: problemas Amostragem inadequada Aproximação da reprojeção dos voxels através de pontos Dificuldade de registro Conseqüências: • Erros na avaliação de foto-consistência. • Erros no tratamento das informações sobre a visibilidade dos voxels. • Dificuldade de lidar com imagens em resoluções diferentes . Solução: Processamento no espaço da cena.
Escultura do espaço no espaço da cena • Estratégia: • Registrar as informações relevantes nos planos de varredura (referência). • Mecanismo utilizado: • Mapeamento projetivo de texturas. • Vantagens: • Fácil registro. • Reamostragem correta. • Tratamento correto da visibilidade. • Possibilidade de programação em hardware.
Escultura do espaço no espaço da cena Imagens e segmentação Mapas de visibilidade
Escultura do espaço no espaço da cena amostra Imagens e segmentação Mapas de visibilidade
Escultura do espaço no espaço da cena Exemplo1: não-foto-consistência
Escultura do espaço no espaço da cena Exemplo 2: foto-consistência
Proposta do trabalho: Escultura do espaço por refinamento adaptativo • Motivação: • Não é possível conhecer a príncipio a resolução adequada para a realização da reconstrução. • A representação do espaço através de partição uniforme não é econômica. • Processo ineficiente: muitos elementos individuais são avaliados de forma desnecessária.
Escultura do espaço por refinamento adaptativo • Objetivos: • Descartar grandes regiões vazias já nos estágios iniciais do processo. • Concentrar esforços em regiões próximas à superfície da cena. • Utilizarcélulas de grande resolução somente onde for necessário.
Escultura do espaço por refinamento adaptativo • Estratégia: • Representar o espaço de reconstrução através de subdivisão adaptativa: octrees. • Projetar as imagens de entrada em níveis de resolução compatíveis com o nível de refinamento do espaço(uso de mipmapping). • Aplicar uma etapa do algoritmo de varredura de planos para cada nível de refinamento. • Utilizar as informações sobre a segmentação dos objetos de interesse para a remoção de espaços vazios. • Trabalhos correlatos: Prock 1999 e Sainz 2002.
Escultura do espaço por refinamento adaptativo • Varredura dos planos. • Onúmero de planos de varredura depende somente do nível de refinamento corrente da octree. • As células em cada plano de varredura podem ser determinadas através da interseção do plano corrente com a octree. • Em uma dada iteração são consideradas somente células não avaliadas.
Escultura do espaço por refinamento adaptativo: classificação das células • Classificações para cada célula: • Foto-consistente. • Não-foto-consistente. • Indefinida. • Célula indefinida: • Caso 1: célula mista (fundo/objeto). • Caso 2: célula intermediária com informação fotométrica incoerente. • Célula não-foto-consistente: • Caso 1: célula de fundo. • Caso 2: célula de nível máximo com informação fotométrica incoerente.
Escultura do espaço por refinamento adaptativo: avaliação da coerência fotométrica. • É realizada com base em teste estatístico (determinar se as diferenças fotométricas são significantes, comparadas com o ruído). • Deve levar em consideração os efeitos da filtragem sobre as imagens projetadas.
Sistema de aquisição Calibração do fundo da cena Captura das imagens Segmentação dos objetos Reconstrução por E.E. Calibração das câmeras
Dificuldades na calibração das câmeras • Excesso de ruído nas imagens. • Necessidade de um método robusto. • Método utilizado: (Szenberg 2001). • Baseado em reconhecimento de modelos. • Não requer que todas as feições sejam identificadas nas imagens.
Calibração das câmeras Resultado da calibração
Identificação do fundo da cena • Necessária para a segmentação dos objetos de interesse. • As imagens do fundo são modeladas através de intervalos de confiança para as médias dos valores observados nas componentes r, g e b de cada pixel. • Feita em etapa de pré-processamento e pode usar um número grande de amostras (foram usadas 128 amostras, obtidas de 128 quadros).
Captura das imagens e segmentação • Cada imagem é obtida como uma média de vários quadros (foram usados quatro quadros). • Os objetos de interesse são segmentados com base nos mapas de intervalos de confiança. • Se o valores observados para um pixel estão dentro dos respectivos intervalos de confiança, o pixel é classificado como do fundo; senão, ele é considerado como pertencente aos objetos. • Problemas: sombras e penumbras são consideradas como parte dos objetos.
Captura das imagens e segmentação: tratamento de sombras • Métodos baseados em correlação não conseguem corrigir problemas associados às sombras. • Solução: teste com base em intervalos de confiança para os canais de cromaticidade.
