Rastreamento de Objetos

1. Rastreamento de Objetos Human Body Tracking

2. Equipe • Flávio Juvenal – fjsj • Lais Varejão – lvv • Natália Cabral – ncs • Paulo Oliveira – phslfo • Victor Alencar - vaca • Victor Lorena – vlfs

3. Roteiro • Motivação • Definição • Histórico • Rastreamento de objetos • HumanBodyTracking • Técnicas • Aplicações • Desafios atuais

4. Motivação • Computadores mais potentes, câmeras de vídeo de alta resolução a baixo custo e uma crescente necessidade de automatizar a análise de vídeos geraram um grande interesse por algoritmos de rastreamento de objetos.

5. Definição Rastreamento de objetos é o problema de estimar a trajetória do objeto no plano da imagem à medida que ele se move na cena.

6. Histórico

7. Histórico • Rotoscoping • Envolve captura e projeção • Desenha quadro por quadro • Inventado por Max Felischer em 1914

8. Rotoscoping • Vídeo Capturado • Decalque

9. Rotoscoping • Pós Processamento • Transformação em desenho animado • Inclusão do cenário • Forma primitiva de captura de movimento

10. Histórico • Início dos anos 70: Uso Militar • Rastreamento da cabeça dos pilotos de avião em manobras de combate • 1982: Animação de Personagens • Foi desenvolvido uma dançarina computadorizada usando captura de movimento (The Catherine Wheel) • http://rallen.design.ucla.edu/newvideo/cathrine_wheel_ex.mov

11. Histórico • 1985: Animação de Personagens • Propaganda com captura de movimento no Superbowl (Brilliance)http://www.youtube.com/watch?v=HZY5_ZzRdbk • Fim dos anos 80: Motion Capture • Sistemas computadorizados auxiliavam na captura da posição e forma dos objetos no espaço

12. Histórico • Anos 90: Filmes de Hollywood • Titanic • Batman and Robin • Real Adventures of Jonny Quest • The Mummy, The Mummy Returns • Final Fantasy • Lord of the Rings • http://www.youtube.com/watch?v=-PpV1KJ0Wsw

13. Rastreamento

14. Etapas do Rastreamento

15. Desafios • Perda de informação ao projetar de 3D para 2D • Ruído em imagens • Objetos com movimentos e formascomplexas • Natureza articulada dos objetos • Oclusãoparcial ou total do objeto • Mudança de iluminação da cena • Processamento em tempo real

16. Fatores relevantes • Representações do objeto • Escolha das características da imagem • Modelagem do movimento, da aparência e da forma do objeto • Quantidade de objetos na cena • Movimentação da câmera • Condições de iluminação

17. Representação dos objetos • Pontos • Adequada para acompanhar objetos que ocupam pequenas regiões em uma imagem.

18. Representação dos objetos • Formas geométricas primitivas • Embora sejam mais adequadas para o rastreamento de objetos rígidos, também são utilizadas no rastreamento de objetos não rígidos.

19. Representação dos objetos • Objetos com silhuetas e contornos • Adequada para o rastreamento de formas não rígidas complexas.

20. Representação dos objetos • Modelos de forma articulada • Formas geométricas representam partes do corpo e são agrupadas através articulações.

21. Representação dos objetos • Modelos esqueléticos • Esqueletos de objetos extraídos a partir da aplicação de transformação do eixo medial da silhueta do objeto. • Úteis na modelagem de objetos rígidos e articulados.

22. Escolha de características da imagem Deve-se buscar a unicidade do objeto • Cor • Exemplo: http://www.youtube.com/watch?v=1iwvL83Cumo&NR=1 • Contornos • Exemplo: http://www.youtube.com/watch?v=_Dln257k2Sc

23. Escolha de características da imagem • Fluxoóptico • Exemplo: http://www.youtube.com/watch?v=Q3gT52sHDI4&feature=related • Textura • Exemplo: http://www.youtube.com/watch?v=lhUfo4Cyfgs

24. Mecanismos de detecção do objeto • Único frame • Múltiplos frames • Point Detector • Background Subtraction • Segmentation • SupervisedLearning

25. Point Detector • Qualidade do ponto de interesse = grau invariância, quanto a iluminação e ponto de vista da câmera. • Utilizado para solucionar problemas de movimento.

26. Background Subtraction • Representação por modelo de cena • Capta movimentação através da mudança significativa de qualquer região do fundo • Representação por modelo de cena • Capta movimentação através da mudança significativa de qualquer região do fundo

27. Segmentation • O algoritmo busca a segmentação da imagem • Problemas da técnica: • Definir se as imagens são parecidas • Partição eficiente

28. SupervisedLearning • Aprendizagem supervisionada de determinado objeto

29. Rastreamento de objetos • Objetivo • Determinar a posição do objeto a cada frame • Região completa da imagem • Tipos de rastreamento • Trackingpoint • Trackingkernel • Trackingsilhouette

30. TrackingPoint • Objetos representados por pontos • O rastreamento inclui a posição do objeto e sua velocidade • Requer um mecanismo externo para detectar objetos em cada frame

31. TrackingPoint

32. TrackingKernel • Kernel refere-se à forma e a aparência do objeto • Pode ser um modelo retangular ou uma forma elíptica • Os objetos são rastreados pelo cálculo do movimento do kernel em frames consecutivos • Este movimento é geralmente sob a forma de uma transformação  paramétrica, como tradução, rotação e afins.

33. TrackingKernel

34. TrackingSilhouette • Monitoramento é realizado por meio da estimativa da região objeto em cada frame. • Métodos de TrackingSilhouette usam a informação codificada no interior da região objeto, e estas são chamadas de mapas de contorno. • Silhuetas são rastreadas por qualquer forma de correspondência.

35. Tracking Silhouette / Edges

36. Humanbodytracking

37. Definição É o processo de captura de movimento, a partir de dados de atores representando várias ações diferentes, assim como, a tradução do movimento para um modelo digital.

38. Rastreamento sem marcadores • Como funciona? • Várias câmeras capturam o movimento dos objetos na cena. • Para cada quadro, um software encontra o contorno dos objetos nas diferentes imagens e captura o movimento. • O software então analisa as características das imagens e realiza a modelagem do clone 3D.

39. Rastreamento sem marcadores • Vantagens • Na captura de movimento com marcadores, alguns se deslocam requerendo uma correção manual. O uso sem marcadores evita a correção. • Permite que o ator use o próprio figurino. • Desvantagens • É necessário o uso de várias câmeras. • A área ainda está em pesquisa.

40. Rastreamentosemmarcadores • Exemplo: • NewScientisthttp://www.youtube.com/watch?v=dTisU4dibSc

41. Rastreamento com marcadores • O movimento dos atores é capturado através de sensores localizados em suas articulações e extremidades. • Deve-se evitar músculos rígidos.

42. Etapas do rastreamento

43. Rastreamento com marcadores • Exemplo: • CaptiveMotion – TheProcesshttp://www.youtube.com/watch?v=I6P710hHx9c

44. Técnicas

45. Inercial • Roupa que acopla acelerômetros como sensores de movimento e giroscópios como sensores de inclinação. • Muito usado por empresas desenvolvedoras de jogos, devido a facilidade de uso.

46. Inercial • Vantagens • Flexibilidade e facilidade de uso • Dispensa câmeras • Não sofre interferência de campos luminosos e magnéticos • Visualização em tempo real

47. Inercial • Desvantagens • Possui menor precisão • Falhas de posicionamento podem aumentar com o tempo • Não podem ser usados na face

48. Inercial • Exemplo: http://www.youtube.com/watch?v=OlKBdTRF61w

49. Óptico • O ator veste marcações refletivas ou de luz própria que são seguidas por um conjunto de no mínimo três câmeras. • Um software fornece as coordenadas 3D dos refletores, a partir das imagens 2D geradas pelas câmeras.

50. Óptico • Vantagens • Maior liberdade dos movimentos, pois não há cabos presos ao corpo • Captura dos movimentos de mais de um ator • Alta taxa de amostragem de dados, permitindo captura de movimentos rápidos