1 / 40

Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades

Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades. Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo. Motivação.

ziarre
Download Presentation

Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Implementação de um dispositivo de rastreamento Óptico com 6 graus de liberdades Manuel Eduardo Loaiza Fernández Orientador: Prof. Marcelo Gattass Co - Orientador: Prof. Alberto Barbosa Raposo

  2. Motivação • Tem se dispositivos usados para permitir ao usuário uma interação com um cenário virtual. • Os dispositivos baseados em diferentes tecnologias: sonoras, magnéticas, mecânicas, ópticas. • Procura se um dispositivo que permita melhorar flexibilidade em referencia aos movimentos naturais que o usuário quisera fazer.

  3. Objetivo • A Implementação de um dispositivo de rastreamento óptico para a detecção do movimento de um grupo de marcadores em seus 6 graus de liberdade. A Implementação deve detectar e mostrar na tela as translações (3 graus de liberdade ) e rotações (3 graus de liberdade) feitas pelo grupo de marcadores.

  4. Tópicos Chave • Captura e processamento da Imagem. • Calibração de câmeras. • Reconhecimento de formas. • Correlação entre marcadores. • Reconstrução da posição 3D de cada marcador.

  5. Equipamento Utilizado de para o Trabalho • Para a implementação utilizamos 3 câmeras web, CCD e CMOS. • E marcadores esféricos.

  6. Pipeline (Seqüência de Trabalho) • Captura da Imagem. • Processamento da imagem. • Reconhecimento e identificação de pontos de referencia para calibração das câmeras. • Calibração das câmeras. • Detecção dos marcadores dentro das imagens capturadas.

  7. Pipeline (Seqüência de Trabalho) • Correlação entre os marcadores detectados nas diferentes imagens capturadas. • Reconstrução 3D dos marcadores detectados. • Seguimento e detecção dos movimentos do grupo de marcadores.

  8. Captura das Imagens • O primeiro passo é a captura das imagens de vídeo dos dispositivos.

  9. Captura das Imagens • A captura é feita a uma resolução de 320 x 240 pixels. • O frame rate das 3 câmeras esta numa media de 29 – 30 fps.

  10. Captura das Imagens • Observações: • A resolução ficou restrita a resolução 320 x 240,porque em base as experiências feitas, aumentar a resolução diminuía o frame rate global a metade 15fps. • As câmeras estão conectadas a um só computador pelas portas USB.

  11. Grey Scale Gaussiano Inversão Threshold Processamento das imagens • Aplicação de filtros sobre as imagens com a finalidade de deixar só a informação relevante para nossa implementação.

  12. Processamento das imagens • Filtro Gauss : foi utilizado para suavizar a imagem resolvendo possíveis problemas de sombras e brilhos que se vem dentro do espaço capturado. • Threshold : foi utilizado para binarizar a imagem, em base ao contraste que gera entre as escalas de cinzas que se tem para o fundo o as que se tem para os marcadores.

  13. Processamento das imagens • A partir das imagens em binário extraímos as áreas brancas que aparecem nela. • A estratégia é extrair o centro das áreas brancas como pontos de referencia em coordenadas da imagem. • A extração é feita por um algoritmo de aproximação de elipses, aplicado as áreas brancas encontradas da imagem e cujo centro é o extraído como ponto de referencia.

  14. Reconhecimento de Pontos para Calibração • A partir de pontos de referencia se faz a calibração das 3 câmeras web em relação a um único mundo de referencia.

  15. Reconhecimento de Pontos para Calibração • O padrão proposto inicialmente foi o seguinte:

  16. Reconhecimento de Pontos para Calibração • Os pontos de referencia são os centro das áreas brancas que se tem na imagem. • As vantagens do padrão, que utilizo, é a fácil identificação e correlação que se pode fazer dos pontos de referencia. • A estratégia usada para identificar os pontos que eles aparecem na imagem com suas coordenadas Y sempre crescente um em relação ao outro.

  17. Reconhecimento de Pontos para Calibração • Observações: • O padrão permite capturar pontos bem distribuídos nos três planos do mundo de referencia. • O padrão não precisa de técnicas adicionais para ser reconhecido. (algoritmo de linhas, cantos, etc.) • A captura do padrão é feita só uma vez.

  18. v Yw(mm) Xw(mm) Zw(mm) Pixels Calibração das Câmeras • Se calibrara as câmeras a partir dos pontos de referencia. • Para a calibração das câmeras se utilizara o método TSAI 3D noncoplanar. u

  19. Calibração das Câmeras • A calibração da câmera consiste na estimativa dos parâmetros extrínsecas e intrínsecos de nossa câmera. • Os parâmetros extrínsecos estão compostos por uma matriz rotação e um vetor de translação, que nos ajudam a levar coordenadas do mundo a coordenadas da câmera. • Os parâmetros intrínsecos estão compostos por vários fatores internos da câmera, que nos ajudam a levar coordenadas do mundo da câmera para coordenadas na imagem 2D.

  20. Calibração das Câmeras • Matriz de Parâmetros Extrínsecos

  21. Calibração das Câmeras • O método TSAI NonCoplanar é utilizado para fazer o calculo dos parâmetros extrínsecos de nossa câmera. • Para este processo se utiliza os pontos de referencia, em coordenadas da imagem que capturamos, e que estão corretamente em correlação, com seus equivalentes em coordenadas no mundo.

  22. Calibração das Câmeras • Assim o método TSAI NonCoplanar tentará montar um sistema de equações com o qual calculara os elementos que compõem a matriz de rotação e o vetor de translação, parâmetros extrínsecos.

  23. Calibração das Câmeras

  24. Calibração das Câmeras

  25. Calibração das Câmeras • Assim conseguimos achar o seguinte: • Matriz de Rotação • Vetor Translação • Definindo a Matriz de Parâmetros Extrínsecos :

  26. Calibração das Câmeras • Matriz de Parâmetros Intrínsecos

  27. Calibração das Câmeras • Os parâmetros intrínsecos são aqueles que estão em relação às características próprias do hardware com o qual trabalhamos. • Assim precisamos das seguintes informações: • dx e dy , que é a distancia horizontal e vertical entre os centros das células contidas no chip CCD dentro da câmera. • Ncx, que é o numero de células contidas numa fila no chip CCD. • Nfx, que é o numero de pixels contido numa fila na imagem.

  28. Calibração das Câmeras • Para as câmeras com as que trabalhamos temos • Câmera Logitech QuickCam Pro - 4000: • Modelo do chip: Sony ICX098AK, Sony ICX098BQ, Sharp LZ24BP. • Na horizontal dx = 0.0056 µm, na vertical dy = 0.0056 µm. • O número de pixels efetivo utilizado dentro do chip foi Ncx = 659 (pixels), e o tamanho do frame buffer com o qual trabalha a câmera é de Nfx = 640 (pixels).

  29. Calibração das Câmeras • Câmera Creative Webcam Nx -Pro: • Modelo do chip: Hyundai HV7131B. • Na horizontal dx = 0.008 µm, na vertical dy = 0.008 µm. • O número de pixels efetivo utilizado dentro do chip foi Ncx = 642 (pixels), e o tamanho do frame buffer com o qual trabalha a câmera é de Nfx = 640 (pixels).

  30. Calibração das Câmeras • Com estes valores podemos criar nossa matriz de parâmetros intrínsecos da seguinte forma: • O primeiro passo que expressar nossas coordenadas de câmera para coordenadas da imagem.

  31. Calibração das Câmeras • O segundo passo é expressar nossas coordenadas da imagem distorcidas para coordenadas da imagem sem distorção. • Aqui é importante definir o valor da constante de distorção radial k1. Onde o calculo da distorção em é:

  32. Calibração das Câmeras • O terceiro passo é calcular a transformação das coordenadas reais da imagem em coordenadas da imagem no computador levando em consideração os tamanhos dos pixels da tela.

  33. Calibração das Câmeras • Os parâmetros que são calculados são: • O fator de incerteza, introduzido para tratar os casos como: o retardo entre o tempo de captura das imagens e o tempo real de exploração dentro do hardware do dispositivo de captura. • A escala entre o tamanho da célula do chip de captura e o número de pixel que representa.

  34. Calibração das Câmeras • Assim definimos esta terceira etapa como: • Nossa matriz de parâmetros intrínsecos ficara então como:

  35. Calibração das Câmeras • Como produto final desta etapa teremos:

  36. Calibração das Câmeras • Aqui temos as imagens das câmeras, com os eixos do mundo de referencia, desenhados a partir das matrizes de OpenGL.

  37. Detecção de Marcadores • Aqui aplicaremos filtros sobre as imagens para extrair a informação que precisamos sobre os marcadores. • Se utilizo a extração de contornos para a detecção dos marcadores.

  38. ? 2 1 2 1 3 3 4 4 Correlação dos Marcadores • Uma vez detectados os marcadores , se fará a correlação dos mesmos entre as 3 imagens capturadas. • Se utilizara a geometria epipolar para implementação desta etapa. Precisa se criar estratégias de correlação Intuitivo

  39. Reconstrução dos Marcadores • A partir da correlação dos marcadores , se utilizará esta informação para obter a posição 3D de cada marcador.

  40. Reconstrução dos Marcadores

More Related