Correspondência entre Pontos no Seguimento de Movimento em Imagens

1. Correspondência entre Pontosno Seguimento de Movimento em Imagens Correspondência Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel Velhote Correia Laboratório de Óptica e Mecânica Experimental

2. Introdução Índice • Introdução; • Métodos Estocásticos: • Filtro de Kalman; • Alternativas ao Filtro de Kalman; • Optimização das Correspondências na Medição: • Algoritmo Simplex; • Distância de Mahalanobis; • Resultados Experimentais; • Conclusões e Perspectivas de Trabalho Futuro.

3. Introdução Introdução • É usuala análise de movimento ser dividida em: • Detecção; • Seguimento; • Reconhecimento. • O seguimento, geralmente, envolve o emparelhamento de características/entidades como pixels, pontos, áreas... • Aplicações práticas do seguimento: • análise do tráfego automóvel; • previsão das condições atmosféricas através do movimento das nuvens; • estudo do movimento dos lábios para permitir a sua leitura; • análise das deformações de objectos devido a forças; etc.

4. Utilização de Métodos Estocásticos Introdução Introdução • Dificuldades comuns: • Complexidade dos objectos seguidos e das cenas: • Múltiplos objectos; • Variação topológica (divisão/fusão das entidades seguidas); • Aparecimento/Desaparecimento dos objectos seguidos; • Fundos complexos; • Variações de iluminação; etc. • A inexistência de modelos computacionais perfeitos: • Construídos considerando aproximações; • Existência de perturbações incontroláveis não modeláveis deterministicamente.

5. Mét. Estocásticos Métodos Estocásticos • Adequados para dados multivariados; • Geralmente, obtêm melhores resultados dos que as metodologias baseadas em séries temporais; • Definidos por espaços de estados. • Neste trabalho: • Entidades: pontos; • Método Estocástico: Filtro de Kalman; • Vectores de Estados: • Posição; • Velocidade; • Aceleração.

6. Mét. Estocásticos Métodos Estocásticos • Seguimento, consiste no cálculo recursivo de grau de certeza associado a cada estado em determinado instante, tendo em consideração os dados obtidos até esse momento. Para tal utiliza: • modelo do sistema; • modelo de medição. • São consideradas três fases: • Previsão - utiliza o sistema do modelo para prever a função de densidade de probabilidade do estado no instante seguinte; • Medição - fortemente dependente da aplicação; • Correcção - utiliza a medição de forma a modificar a função densidade de probabilidade prevista.

7. Mét. Estocásticos Filtro de Kalman • Permite a estimativa do estado de um sistema de forma óptima caso: • a transição entre estados seja linear; • a função de probabilidade seja normal.

8. Mét. Estocásticos Alternativas ao filtro de Kalman(exemplos) • Filtro de Kalman Estendido: • Permite o seguimento de movimento não linear; • Aplicação complexa. • Filtro de Condensação: • Utiliza a amostragem factorizada com um modelo estocástico de movimento dos objectos; • Propaga as amostras com pesos associados para formar o instante seguinte; • Requer a utilização de um número relativamente elevado de amostras (porque não é paramétrico); • Possibilidade de degeneração das partículas.

9. Técnica de Optimização Global + Distância de Mahalanobis Optimização Optimização das Correspondências • A fase de correcção requer o estabelecimento de correspondências (matching) entre as entidades estimadas e as reais (medidas). • No filtro de Kalman para a posição 2D, a área de pesquisa para o estabelecimento de correspondências é uma elipse: • Dificuldades: • Nenhuma ou múltiplas entidades no interior da elipse; • Usando um emparelhamento local, não há garantia de que se tenha obtido em termos globais o melhor emparelhamento para o conjunto de entidades seguidas.

10. Optimização Optimização das Correspondências • Com a consideração da optimização global pretende-se assegurar a obtenção do melhor conjunto de correspondências para todas as entidades seguidas; • O custo de cada emparelhamento é calculado usando a distância de Mahalanobis; • A distância de Mahalanobis é uma distância euclidiana ponderada pela covariância; • O método Simplex é utilizado para minimizar o custo global do emparelhamento.

11. Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais • Exemplos sintéticos: • Translação horizontal de 3 “blobs”: Legenda:

12. A C B D Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Sintéticos (Cont.) • Translação horizontal de 2 “blobs” (A e B) e rotação de 8º (C e D):

13. A C B D Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Sintéticos (Cont.) • Continuação ...Pontos C e D invertem sentido de rotação:

14. E F Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Sintéticos (Cont.) • Sobreposição de pontos (Oclusão):

15. Previsões Área de IncertezaMedições CorrespondênciasResultados Resultados Resultados Experimentais Reais • Análise da Marcha I:

16. Previsões Área de Incerteza Medições Correspondências Resultados Resultados Resultados Experimentais Reais(Cont.) - Análise da Marcha II:

17. Conclusões Conclusões e Trabalho Futuro • Na metodologia proposta para o seguimento de objectos, é utilizado: • filtro de Kalman; • um método de optimização global; • Distância de Mahalanobis. • Usando a optimização global no emparelhamento obtêm-se as melhores correspondências para o conjunto de entidades seguidas. • Abordagem apresentada revelou-se robusta (mesmo em casos de oclusão e com movimento “não-linear”).

18. Conclusões Conclusões e Trabalho Futuro • Este trabalho será considerado no desenvolvimento de uma aplicação de análise de movimento para o diagnóstico clínico da marcha e a análise do movimento em actividades desportivas. • No futuro será interessante comparar os resultados obtidos pela metodologia proposta com os obtidos por métodos estocásticos adequados para movimento não-linear.

19. Agradecimentos • O primeiro autor, agradece a Bolsa de Doutoramento concedida pela FCT - Fundação para a Ciência e a Tecnologia, no âmbito do projecto POSI, sob a referência SFRH/BD/12834/2003. • Este trabalho foi parcialmente realizado no âmbito do projecto “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos”, financiado pela FCT com a referência POSC/EEA-SRI/55386/2004. Obrigado!