Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde

1. Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison

2. Roteiro • RealidadeAumentada • Motivações • Aplicações • ARToolkit • Funcionamento • Arquitetura • Conclusão

3. Cenário

4. O que é RealidadeAumentada? Sistemas que misturam cenários do ambiente Sobreposição de cenários VIRTUAIS em cenários REAIS

5. O que é RealidadeAumentada? • Vídeo- Enkin

6. Definição • Definição de Ronald Azuma: • Combinação de elementosvirtuais com o ambiente real • Interação e processamentoem tempo real • Concebidaemtrêsdimensões

7. Combinarnemsempre é igual a adicionar Combinarnãoincluiapenasinformaçõesvisuais (Enkin) O que é Realidadeaumentada:Combinação de elementos

8. O que é Realidadeaumentada:Interaçãoem tempo real “Using AR technology, users can interact with a combination of real and virtual objects in a natural way.” “In Confluence of Computer Vision and Interactive Graphics for Augmented Reality“

9. O que é Realidade aumentada:Informação em 3D Iluminaçãodependenteda posição do sol (controlado pelousuário).

10. Motivação: Um exemplo

11. Motivação: Um exemplo • O problema • O cirurgiãonãopodeolharpara a tela e para o pacienteaomesmo tempo • Olharpara a telaenquanto opera o pacientenão é ergonômico • A tela é 2D, enquantoque o corpo do paciente é 3D

12. Motivação: Um exemplo • A Visão • A informaçãodeve ser mostradaondeela é necessária • O usuáriodevepoderacessar e interagir com a informação de maneiraergonômica • A informaçãodeve ser apresentadaemtrêsdimensões, como o objetodaaplicação

13. Médica The heARt-Project: Cirugiacardíacaminimamenteinvasiva. MIT: Integração de dados de ressonânciamagnética e de eletroencefalogramaparasuporte à cirugia cerebral. Aplicações

14. Manutenção, reparos e produção BMW: The “Intelligent Welding Gun” Boeing: “Augmented wiring” Aplicações

15. Aplicações • Visualizaçãode dados científicos • Educação • Studierstube: Construct3D Application

16. Outras áreas de Atuação • Militar • Entretenimento • Petroquímica

17. Dificuldades de Implementação • Cálculos para construção da imagem virtual para o ponto de vista do usuário • Saber a escala e o alinhamento • Realizada em tempo real • Posicionamento o mais preciso possível CUSTOSO

18. Solução • ARToolkit

19. O que é ARToolkit? • Sistema baseado em tracking (rastreamento) • Calcula a posição real da câmera e a orientação relativa de um marcador

20. ARTookit como solução • Não exige aquisição de material muito robusto e caro • Gratuita • Disponibiliza o código-fonte • Transporte para diversas plataformas • Adapta-se a diversas aplicações • Difundida em meio aos estudantes

21. Como ARToolkit Ajuda? • Usa algoritmos com conceitos de cálculo de matrizes (álgebra) • Calcula a posição no espaço real da câmera e sua orientação em relação à marcadores • Programador preocupar-se apenas em sobrepor cenários • Abstração dos cálculos de mapeamento

22. Marcadores • Figuras geométricas • Contém símbolos no interior • Rastreamento estima: • Posição • Orientação

23. Extração de Imagem • Imagem limiarizada (preto e branco) • Identifica vértices das regiões quadradas • Compara os símbolos com os gabaritos dos marcadores já cadastrados • Os cálculos são feitos caso haja semelhança

24. Algoritmo • Baseia-se na posição encontrada e no tamanho conhecido do padrão • Relaciona as coordenadas por meio de uma matriz 3x4 (matriz transformação) • Multiplicação de uma matriz transformação "T" por um ponto 3D no marcador (Xm,Ym,Zm), obtendo o ponto correspondente no sistema de coordenadas da câmera (Xc,Yc,Zc)

25. VisãoGeral

26. Funcionamento • Calibração do sistema • Capturadaimagem de entrada • Sequência de imagensdacâmera de video • Buscapelosmarcadores • As imagenscapturadassãoconvertidasparaumaimagembináriapara a identificação de padrões (quadradospretos) • Cálculodaposição/orientaçãodacâmera • Relativasaosquadradospretos

27. Funcionamento • Identificação de marcadores • Verifica se o símbolo dos marcador casa com algumpadrãonamemória. • Inserção de imagensvirtuais • Usandotransformações 3D, a imagem é orientada e posicionadapara ser posta no marcador. • Renderizaçãodaimagem final • A imagem é renderizadaemcima do marcador

28. Demonstração • levelHead

29. Calibragem da câmera • É desejável saber osparâmetrosdacâmeraparaposicionar com maisprecisãoosobjetosvirtuaissobre a cena real • Principaispropriedadesextraídasdacalibragem: • distorções de lente, • ponto central dacâmera • distância focal dacâmera

30. Calibragem da câmera

31. ARToolkitFramework Arquitetura

32. Arquitetura • Quatromódulos: • AR Module: módulo principal com rotinas de rastreamento de marcadores e calibração. • Video Module: conjunto de rotinasqueencapsulam a captura de frames de vídeopadrão • Gsub Module: conjunto de rotinasgráficasbaseadasnasbibliotecas OpenGL e GLUT

33. Arquitetura

34. Arquitetura • Metáfora de pipeline: • Video -> Tracking -> Display • Permitefáciltroca de módulos

35. E o quarto módulo? • Gsub_Lite Module: substitui o Gsub Module com rotinasgráficasmaiseficientes e independentes do sistema de janelas

36. Limitações • Marcadoresnecessitamestarsempre (e totalmente) à mostra • Podelimitar o tamanho e movimento dos objetosvirtuais • Orientação do marcadorrelativa à câmera • Inclinação do marcadorreduzprecisão • Tamanho do marcador • Marcadoresmaiores = distânciasmaiores

37. Limitações • Condições de iluminação • Iluminaçãodiretasobre o marcadorpodecausarproblemas de reconhecimento • Complexidade do marcador • Figuras simples e nãosimétricas • Maiorcomplexidade = Menoralcance

38. Projetos • The BlackMagickiosk • Magic Book • PyARTK • Augmented Reality Encyclopedia • AR Tower Defense • ARToolkit on Iphone • E muitosoutros...

39. Dúvidas?