Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades

1. Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo

2. Motivação • Tem se dispositivos usados para permitir ao usuário uma interação com um cenário virtual. • Os dispositivos baseados em diferentes tecnologias: sonoras, magnéticas, mecânicas, ópticas. • Procura se um dispositivo que permita melhorar flexibilidade em referencia aos movimentos naturais que o usuário quisera fazer.

3. Objetivo • A Implementação de um dispositivo de rastreamento óptico para a detecção do movimento de um grupo de marcadores em seus 6 graus de liberdade. A Implementação deve detectar e mostrar na tela as translações (3 graus de liberdade ) e rotações (3 graus de liberdade) feitas pelo grupo de marcadores.

4. Tópicos Chave • Captura e processamento da Imagem. • Calibração de câmeras. • Reconhecimento de formas. • Correlação entre marcadores. • Reconstrução da posição 3D de cada marcador.

5. Equipamento Utilizado de para o Trabalho • Para a implementação utilizamos 3 câmeras web, CCD e CMOS. • E marcadores esféricos.

6. Pipeline (Seqüência de Trabalho) • Captura da Imagem. • Processamento da imagem. • Reconhecimento e identificação de pontos de referencia para calibração das câmeras. • Calibração das câmeras. • Detecção dos marcadores dentro das imagens capturadas.

7. Pipeline (Seqüência de Trabalho) • Correlação entre os marcadores detectados nas diferentes imagens capturadas. • Reconstrução 3D dos marcadores detectados. • Seguimento e detecção dos movimentos do grupo de marcadores.

8. Captura das Imagens • O primeiro passo é a captura das imagens de vídeo dos dispositivos.

9. Captura das Imagens • A captura é feita a uma resolução de 320 x 240 pixels. • O frame rate das 3 câmeras esta numa media de 29 – 30 fps.

10. Captura das Imagens • Observações: • A resolução ficou restrita a resolução 320 x 240,porque em base as experiências feitas, aumentar a resolução diminuía o frame rate global a metade 15fps. • As câmeras estão conectadas a um só computador pelas portas USB.

11. Grey Scale Gaussiano Inversão Threshold Processamento das imagens • Aplicação de filtros sobre as imagens com a finalidade de deixar só a informação relevante para nossa implementação.

12. Processamento das imagens • Filtro Gauss : foi utilizado para suavizar a imagem resolvendo possíveis problemas de sombras e brilhos que se vem dentro do espaço capturado. • Threshold : foi utilizado para binarizar a imagem, em base ao contraste que gera entre as escalas de cinzas que se tem para o fundo o as que se tem para os marcadores.

13. Processamento das imagens • A partir das imagens em binário extraímos as áreas brancas que aparecem nela. • A estratégia é extrair o centro das áreas brancas como pontos de referencia em coordenadas da imagem. • A extração é feita por um algoritmo de aproximação de elipses, aplicado as áreas brancas encontradas da imagem e cujo centro é o extraído como ponto de referencia.

14. Reconhecimento de Pontos para Calibração • A partir de pontos de referencia se faz a calibração das 3 câmeras web em relação a um único mundo de referencia.

15. Reconhecimento de Pontos para Calibração • O padrão proposto inicialmente foi o seguinte:

16. Reconhecimento de Pontos para Calibração • Os pontos de referencia são os centro das áreas brancas que se tem na imagem. • As vantagens do padrão, que utilizo, é a fácil identificação e correlação que se pode fazer dos pontos de referencia. • A estratégia usada para identificar os pontos que eles aparecem na imagem com suas coordenadas Y sempre crescente um em relação ao outro.

17. Reconhecimento de Pontos para Calibração • Observações: • O padrão permite capturar pontos bem distribuídos nos três planos do mundo de referencia. • O padrão não precisa de técnicas adicionais para ser reconhecido. (algoritmo de linhas, cantos, etc.) • A captura do padrão é feita só uma vez.

18. v Yw(mm) Xw(mm) Zw(mm) Pixels Calibração das Câmeras • Se calibrara as câmeras a partir dos pontos de referencia. • Para a calibração das câmeras se utilizara o método TSAI 3D noncoplanar. u

19. Calibração das Câmeras • A calibração da câmera consiste na estimativa dos parâmetros extrínsecas e intrínsecos de nossa câmera. • Os parâmetros extrínsecos estão compostos por uma matriz rotação e um vetor de translação, que nos ajudam a levar coordenadas do mundo a coordenadas da câmera. • Os parâmetros intrínsecos estão compostos por vários fatores internos da câmera, que nos ajudam a levar coordenadas do mundo da câmera para coordenadas na imagem 2D.

20. Calibração das Câmeras • Matriz de Parâmetros Extrínsecos

21. Calibração das Câmeras • O método TSAI NonCoplanar é utilizado para fazer o calculo dos parâmetros extrínsecos de nossa câmera. • Para este processo se utiliza os pontos de referencia, em coordenadas da imagem que capturamos, e que estão corretamente em correlação, com seus equivalentes em coordenadas no mundo.

22. Calibração das Câmeras • Assim o método TSAI NonCoplanar tentará montar um sistema de equações com o qual calculara os elementos que compõem a matriz de rotação e o vetor de translação, parâmetros extrínsecos.

23. Calibração das Câmeras

24. Calibração das Câmeras

25. Calibração das Câmeras • Assim conseguimos achar o seguinte: • Matriz de Rotação • Vetor Translação • Definindo a Matriz de Parâmetros Extrínsecos :

26. Calibração das Câmeras • Matriz de Parâmetros Intrínsecos

27. Calibração das Câmeras • Os parâmetros intrínsecos são aqueles que estão em relação às características próprias do hardware com o qual trabalhamos. • Assim precisamos das seguintes informações: • dx e dy , que é a distancia horizontal e vertical entre os centros das células contidas no chip CCD dentro da câmera. • Ncx, que é o numero de células contidas numa fila no chip CCD. • Nfx, que é o numero de pixels contido numa fila na imagem.

28. Calibração das Câmeras • Para as câmeras com as que trabalhamos temos • Câmera Logitech QuickCam Pro - 4000: • Modelo do chip: Sony ICX098AK, Sony ICX098BQ, Sharp LZ24BP. • Na horizontal dx = 0.0056 µm, na vertical dy = 0.0056 µm. • O número de pixels efetivo utilizado dentro do chip foi Ncx = 659 (pixels), e o tamanho do frame buffer com o qual trabalha a câmera é de Nfx = 640 (pixels).

29. Calibração das Câmeras • Câmera Creative Webcam Nx -Pro: • Modelo do chip: Hyundai HV7131B. • Na horizontal dx = 0.008 µm, na vertical dy = 0.008 µm. • O número de pixels efetivo utilizado dentro do chip foi Ncx = 642 (pixels), e o tamanho do frame buffer com o qual trabalha a câmera é de Nfx = 640 (pixels).

30. Calibração das Câmeras • Com estes valores podemos criar nossa matriz de parâmetros intrínsecos da seguinte forma: • O primeiro passo que expressar nossas coordenadas de câmera para coordenadas da imagem.

31. Calibração das Câmeras • O segundo passo é expressar nossas coordenadas da imagem distorcidas para coordenadas da imagem sem distorção. • Aqui é importante definir o valor da constante de distorção radial k1. Onde o calculo da distorção em é:

32. Calibração das Câmeras • O terceiro passo é calcular a transformação das coordenadas reais da imagem em coordenadas da imagem no computador levando em consideração os tamanhos dos pixels da tela.

33. Calibração das Câmeras • Os parâmetros que são calculados são: • O fator de incerteza, introduzido para tratar os casos como: o retardo entre o tempo de captura das imagens e o tempo real de exploração dentro do hardware do dispositivo de captura. • A escala entre o tamanho da célula do chip de captura e o número de pixel que representa.

34. Calibração das Câmeras • Assim definimos esta terceira etapa como: • Nossa matriz de parâmetros intrínsecos ficara então como:

35. Calibração das Câmeras • Como produto final desta etapa teremos:

36. Calibração das Câmeras • Aqui temos as imagens das câmeras, com os eixos do mundo de referencia, desenhados a partir das matrizes de OpenGL.

37. Detecção de Marcadores • Aqui aplicaremos filtros sobre as imagens para extrair a informação que precisamos sobre os marcadores. • Se utilizo a extração de contornos para a detecção dos marcadores.

38. ? 2 1 2 1 3 3 4 4 Correlação dos Marcadores • Uma vez detectados os marcadores , se fará a correlação dos mesmos entre as 3 imagens capturadas. • Se utilizara a geometria epipolar para implementação desta etapa. Precisa se criar estratégias de correlação Intuitivo

39. Reconstrução dos Marcadores • A partir da correlação dos marcadores , se utilizará esta informação para obter a posição 3D de cada marcador.

40. Reconstrução dos Marcadores