Mapeamento semântico com robôs móveis

1. Mapeamento semântico com robôs móveis Fabiano Rogério Corrêa (aluno de doutorado – POLI/PMR)

2. Mapeamento: artigo do Thrun (2002); Modelos espaciais de ambientes físicos; Um dos problemas mais importantes na busca por robôs verdadeiramente autônomos; “Todos” os algoritmos do estado da arte de mapeamento são probabilísticos; Mapas do ambiente

3. Até a década de 90: Mapas visavam auxiliar a navegação e a localização; Ambientes internos, estáticos, estruturados e pouco extensos; Sensores de ultra-som e de varredura laser; Alcance limitado dos sensores e fusão de dados sensoriais incertos; Mapas: métricos x topológicos; Desafios para o mapeamento

4. Desafios atuais • Desde então ... • Representações visando tarefas mais gerais; • Ambientes externos, dinâmicos, não–estruturados e extensos; • Sensores de varredura laser e sistemas de visão; • Dinâmica do ambiente, grande quantidade de dados de tipos diferentes (multi-modais); • Mapas: filtro de Kalman x Expectation maximization x mapa de objetos;

5. Mapa de objetos • + Mais compactos que os mapas de grades (principalmente em ambientes estruturados); • + Mais precisos (e expressivos); • + Ambientes dinâmicos; • + Mais próximos à percepção humana (facilita interação homem-máquina); • - Ambientes simples;

6. Mapas semânticos • Interesse renovado em informação semântica: • Segmentar e classificar informação espacial; • Mapas topológicos consideram em parte a semântica do ambiente; • Informação semântica extraída diretamente dos sensores do robô; • Regiões  distinção e reconhecimento de lugares específicos no ambiente; • Objetos  dinâmica; • Restrição do espaço de buscas e entrada do sistema de navegação: dirigir-se a um lugar determinado;

7. Classificação de mapas semânticos • Ainda pouco explorado; • Mapeamento topológico-semântico: • Similaridade sensorial; • Com objetos; • Mapeamento métrico-semântico: • Associação de dados; • Segmentação: • Dados de distância; • Regiões; • Objetos;

8. Similaridade sensorial • Informação semântica extraída diretamente dos sensores do robô; • Agrupamento de imagens em constelações que representam um conceito espacial; • Medida de similaridade; • Consistência geométrica / espacial entre as imagens; • Aprendizado não-supervisionado; • Teoria de grafos;

9. Fingerprintof places Tapus, A. Siegwart, R. A cognitive modeling of space using fingerprints of places for mobile robot navigation. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2006.

10. Scene similarity Posner, I., Schroeter, D., Newman, P. Using scene similarity for place labelling. In: International Symposium on Experimental Robotics (ISER), 2006.

11. Rooms Zivkovic, Z., Booij, O., Kröse, B. From images to rooms. In: Robotics and Autonomous Systems 55, 2007.

12. Mapeamento topológico com objetos • Reconhecimento de objetos; • Cada nó do mapa é representado por um conjunto de objetos;

13. Multi-hierarchical semantic maps Galindo, C., Saffiotti, A., Coradeschi, S., Buschka, P., Fernández-Madrigal, J.A., González, J. Multi-hierachical semantic maps for mobile robotics. In: Proceedings of the IEEE International Conference on Intelligent Robots and Systems (IROS), 2005.

14. Cognitive maps Vasudevan, S., Gächter, S., Nguyen, V., Siegwart, R. Cognitive maps for mobile robots – an object approach. In: Robotics and Autonomous Systems 55, 2007.

15. Associação de dados • Classificação dos dados sensoriais em classes; • Associação de dados usando a informação semântica; • Redução do espaço de busca; • Mapeamento e localização simultâneos (SLAM); • Aprendizado supervisionado; • Teoria de probabilidades;

16. Matching Ramos, F., Fox, D., Durrant-Whyte, H. CRF-matching: conditional random fields for feature-based scan matching. In: Proceedings of Robotics Science and Systems (RSS), 2007.

17. Semantic knowledge Nüchter, A., Wulf, O., Lingemann, K., Hertzberg, J., Wagner, B., Surmann, H. 3D mapping with semantic knowledge. In: RoboCup International Symposium, 2005.

18. Object recognition Ramos, F., Nicto, J., Durrant-Whyte, H. Combining object recognition and SLAM for extended map representations. In: International Symposium on Experimental Robotics (ISER), 2006.

19. Segmentação: dados de distância • Primitivos geométricos são classificados por meio de aprendizado computacional supervisionado; • Modelos: • AMNs; • Instance-based AMNs;

20. 3D scan data Anguelov, D., Taskar, B., Chatalbashev, V., Koller, D., Gupta, D., Heitz, G. Ng, A. Discriminative learning of markov random fields for segmentation of 3D scan data. In: Proceedings of the Conference on Computer Vision and Patern Recognition (CVPR), 2005.

21. 2D and 3D laser range data Triebel, R., Schmidt, R., Mozos, O.M., Burgard, W. Instance-based AMN classification for improved object recognition in 2D and 3D laser range data. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2007.

22. Segmentação: regiões • Baseada em grades de ocupação: células; • Características: • Perfil geométrico das leituras do sensor de varredura laser mais reconhecimento de objetos - AdaBoost; • Atividade (dinâmica dos objetos na cena) – SVM, HMM, MRF; • Categorias: • Calçada e rua; • Fluxo de tráfego; • Corredor, sala e porta;

23. Activity-based ground models Lookingbill, A., Lieb, D., Stavens, D., Thrun, S. Learning activity-based ground models from a moving helicopter platform. In: IEEE International Conference on Robotics & Automation (ICRA), 2005.

24. Activity-based semantic map Wolf, D., Sukhatme, G.S., Activity-based semantic mapping of an urban environment. In: International Symposium on Experimental Robotics (ISER), 2006.

25. Semantic labeling of places Mozos, O.M., Triebel, R., Jensfelt, P., Rottmann, A., Burgard, W. Supervised semantic labeling of places using information extracted from sensor data. In: Robotics and Autonomous Systems 55, 2007.

26. Segmentação: objetos • Objetos a serem classificados: linhas obtidas do pré-processamento dos dados dos sensores de varredura laser; • Classificações: porta, parede (e corredor); • Aprendizado computacional supervisionado: • Modelo generativo: comportamento e aparência; • RMNs: aparência e relações espaciais;

27. Detecting and modeling doors Anguelov, D., Koller, D., Parker, E., Thrun, S. Detecting and modeling doors with mobile robots. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2004.

28. Relational object maps Limketkai, B., Liao, L., Fox, D. Relational object maps for mobile robots. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2005.

29. Conclusão • Extração de informação semântica dos dados sensoriais; • Emprego da semântica para resolver os desafios atuais da área de robótica; • Uso de modelos probabilísticos de primeira ordem: • Inclusão de dependências relacionais; • Melhor precisão na classificação;

30. Aprendizado estatístico-relacional • BNs Relacionais (RBN) (Jaeger, 1997); • Modelos Probabilísticos Relacionais (PRM) (Koller e Pfeffer, 1998; Friedman et al., 1999); • PRMs Dinâmicos (DPRM) (Friedman et al., 1998); • MMs Relacionais(RMM) (Anderson et al., 2002); • RNs Relacionais(RMN) (Taskar et al., 2002); • MDPs Relacionais (RMDP) (Guestrin et al., 2003); • Redes de Dependência Relacionais (RDN)(Neville e Jensen, 2007);