Maria João M. Vasconcelos 1 , João Manuel R. S. Tavares 1,2

1. Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimentode Objectos em Imagens Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2

2. |Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Resumo: Nesta apresentação será descrita uma técnica de modelação de objectos, representados em imagens, baseada em análise estatística, assim como a sua utilização na segmentação e reconhecimento de objectos em novas imagens. • Índice: • Introdução; • Modelo Pontual de Distribuição (PDM); • Modelos de Forma Activa (ASM) e Modelos de Aparência Activa (AAM); • Modelos usados; • Resultados experimentais; • Conclusões e Trabalho Futuro. Maria João M. Vasconcelos, João Manuel R. S. Tavares

3. |Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Análise de objectos representados em imagens • Área da Visão Computacional • “Conjunto de métodos e técnicas através dos quais sistemas computacionais são capazes de interpretar imagens.” • Modelização de objectos • Modelos flexíveis – modelos estatísticos que permitem analisar e simular objectos que apresentam formas variáveis em imagens. • Aplicações • Medicina – localização de estruturas em imagens médicas; • Indústria – inspecção de produtos; • Sistemas de segurança – reconhecimento de faces; • … Maria João M. Vasconcelos, João Manuel R. S. Tavares

4. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| • Modelos Pontuais de Distribuição: • Propostos por Cootes e Taylor em 1992; • Método de modelização de objectos baseado em análise estatística; • Estudam a forma geométrica dos objectos e suas variações; • Variantes: • Modelos de Forma Activa; • Modelos de Aparência Activa. • São utilizados na segmentação e reconhecimento de objectos em imagens. Maria João M. Vasconcelos, João Manuel R. S. Tavares

5. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Etapas: Maria João M. Vasconcelos, João Manuel R. S. Tavares

6. | Introdução |PDM |ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Utilização dos PMDs na pesquisa de objectos: • Modelos de Forma Activa – ASMs: • Modelo da forma geométrica; • Perfis de intensidade dos pontos-chave: • Níveis de cinzento em torno de cada ponto-chave são semelhantes nas várias imagens. • Fase de pesquisa: • Estudo da região de cada ponto-chave para calcular o movimento associado; • Cálculo dos parâmetros de forma e de pose do PDM; • Actualização dos parâmetros tendo em conta os limites impostos. Maria João M. Vasconcelos, João Manuel R. S. Tavares

7. | Introdução |PDM |ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| • Modelos de Aparência Activa – AAMs: • Modelo da forma geométrica; • Modelo de textura: • Deforma-se cada instância do objecto para coincidir com a forma média; • Obtém-se os níveis de cinzento da imagem do modelo normalizado: • Modelo de aparência: • Combinação do modelo da forma com o modelo de textura. • Modelo activo: • Considera a relação entre os parâmetros obtidos pelo modelo de aparência e os erros residuais existentes entre a nova instância e modelo construído. Maria João M. Vasconcelos, João Manuel R. S. Tavares

8. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Modelos usados: • Mão • 25 imagens de treino; • 4 indivíduos diferentes; • Etiquetadas automaticamente com 65 pontos-chave. • Face • 25 imagens de treino; • 1 indivíduo; • Etiquetadas manualmente com 68 pontos-chave. Maria João M. Vasconcelos, João Manuel R. S. Tavares

9. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| • Colocação automática de pontos-chave (mão) • Extracção do contorno da mão através de um algoritmo de detecção de zonas de pele; • Cálculo das zonas de maior curvatura do contorno; • Delimitação da zona da mão (eliminar a zona do pulso); • Colocação dos pontos-chave tendo em conta as zonas de maior curvatura. Maria João M. Vasconcelos, João Manuel R. S. Tavares

10. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| • Mão • 65 Pontos-chave (automático) • Face • 68 Pontos-chave (manual) Maria João M. Vasconcelos, João Manuel R. S. Tavares

11. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| 1º modo 2º modo 3º modo • Mão • ASM • Os primeiros 6 modos de variação explicam 95% da variância total da forma geométrica. Maria João M. Vasconcelos, João Manuel R. S. Tavares

12. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| 1º modo 1º modo 2º modo 2º modo 3º modo 3º modo • Face • Modelo de aparência • Os primeiros 5 modos explicam 95% da variação total da aparência. • Modelo da forma • Os primeiros 4 modos explicam 95% da variância total da forma geométrica. Maria João M. Vasconcelos, João Manuel R. S. Tavares

13. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Posição inicial 29ª it 9ª it 19ª it Posição inicial 5ª it 13ª it 17ª it • Modelos de Forma Activa (imagens “novas”) Maria João M. Vasconcelos, João Manuel R. S. Tavares

14. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro| Imagem original 8ª iteração 15ª iteração Imagem reconstruída • Modelos de Aparência Activa Exemplo de segmentação usando o modelo de aparência activa construído para a face numa imagem de teste. (imagem “nova”) Maria João M. Vasconcelos, João Manuel R. S. Tavares

15. | Introdução |PDM | ASM / AAM |Modelos | Resultados |Conclusões |Trabalho Futuro| Conclusões: • Foi apresentada uma metodologia que permite construir modelos flexíveis, para objectos deformáveis representados em imagens, baseada em análise estatística. • Os modelos descritos têm aplicações em várias áreas, desde a localização de estruturas em imagens médicas até ao reconhecimento de faces. • Os resultados experimentais obtidos mostram que os métodos activos permitem segmentar e localizar adequadamente o objecto modelizado em novas imagens. Maria João M. Vasconcelos, João Manuel R. S. Tavares

16. | Introdução |PDM | ASM / AAM |Modelos |Resultados |Conclusões |Trabalho Futuro | Perspectivas de Trabalho Futuro: • Automatizar a etapa da colocação e emparelhamento dos pontos-chave em imagens de faces: • Usar uma metodologia semelhante à desenvolvida para as mãos: contornos dos olhos, boca e contorno “inferior” da face; • Considerar como pontos-chave os nodos de uma malha rectangular adaptativa e multiresolução colocada adequadamente na imagem. • Comparar experimentalmente os modelos de forma activa com os modelos de aparência activa. Maria João M. Vasconcelos, João Manuel R. S. Tavares

17. Introdução aos Modelos Pontuais de Distribuição e sua Utilização na Segmentação e Reconhecimentode Objectos em Imagens Maria João M. Vasconcelos1, João Manuel R. S. Tavares1,2 Obrigado!