AMBER

1. AMBER Automatikus Robotkörnyezet Feltérképezés Automated Mapping of roBot EnviRonment BMF - NIK Informatikai ésAutomatizáltRendszerek szakirány Berecz Szabolcs, Kovács Róbert, Kúthy Előd Konzulens: Vámossy Zoltán 2005.március22.

2. Általános bemutatás • Modellépítés két kamera segítségével • Autószerű hordozójármű • Automatikus, háromdimenziós navigáció AMBERBMF-NIK IAR szakirány

3. A rendszer felépítése AMBERBMF-NIK IAR szakirány

4. Képfeldolgozás A rendszer felépítése AMBERBMF-NIK IAR szakirány

5. Mélységérzékelés AMBERBMF-NIK IAR szakirány

6. Token kiemelés • Token = kép jellemző, kiemelkedő tulajdonságokkal bíró pontja • Szögletes tárgyak sarokpontjai • Felszíni egyenetlenségek, „rücskök” • Felületek mintázata • Kiemelés Harris sarokdetektáló algoritmusával AMBERBMF-NIK IAR szakirány

7. Harris sarokdetektáló algoritmusa • Intenzitás kovariancia mátrixának sajátértékei – sarkosságot jelöl • Lokális maximum keresés • Empirikus paraméterek • Érték küszöb • Távolság küszöb Harris, C. and Stephens, M. 1988. A combined corner and edge detector. In Fourth Alvey Vision Conference,Manchester, UK, pages. 147-151. AMBERBMF-NIK IAR szakirány

8. Példa token kiemelésre AMBERBMF-NIK IAR szakirány

9. Token párosítás • Képpontok és környezetük intenzitásának összehasonlítása a két képen • Megszorítások: • Nincs vagy nagyon kicsi függőleges eltérés • Vízszintes irányú maximális eltérés • Lehetséges és biztos párok AMBERBMF-NIK IAR szakirány

10. Példa token párosításra AMBERBMF-NIK IAR szakirány

11. Modellkezelés A rendszer felépítése AMBERBMF-NIK IAR szakirány

12. Az ICP (Iterated Closest Point) algoritmus • Kellően jó kiindulási transzformáció szükséges • Pontpárokat távolság alapján választ • Pontpárosítás, transzformáció meghatározás Paul J. Besl and Neil D. McKay. A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Anal. Mach. Intell., 14(2):239–256, 1992. AMBERBMF-NIK IAR szakirány

13. A Spin-image algoritmus • Pontpárok meghatározása az egyes pontokat környező felületek hasonlósága alapján • Transzformáció meghatározása • ICP-vel további pontosítás Andrew Johnson and Martial Hebert. Surface registration by matching oriented points. In International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pages 121–128, May 1997. AMBERBMF-NIK IAR szakirány

14. Modellépítés - 1 • Egy felületre eső pontpárok keresése AMBERBMF-NIK IAR szakirány

15. Modellépítés - 2 AMBERBMF-NIK IAR szakirány

16. Modellépítés - 3 • Felületépítés Delaunay háromszögelés segítségével • Sarokpontok koordinátáinak folyamatos pontosítása • Felületek beépítése megerősítéses tanulással • Csak statikus környezetben alkalmazható AMBERBMF-NIK IAR szakirány

17. A modell AMBERBMF-NIK IAR szakirány

18. Navigáció A rendszer felépítése AMBERBMF-NIK IAR szakirány

19. 3D-2D konverzió • Többszintes térkép készítése • Lehetőség van pl. egy asztal lapja és az alatta fekvő terület bejárására • Használhatóak a gyors, két dimenziós útkereső algoritmusok AMBERBMF-NIK IAR szakirány

20. A 3D-2D konverzió módszere • A kapott háromszögek osztályozása dőlés szerint • Jelenlegi pozíció (háromszög) meghatározása • Csatlakozó háromszögek keresése iteratív módon • A létrejött, talajt reprezentáló felület vetítése 2D-s térképekre • Ha a felületrészek fedik egymást, úgy nem egy térképre kerülnek • A térképeken jelöljük a csatlakozási pontokat • Nagy dőlésű háromszögeket tereptárgyként tüntetünk fel AMBERBMF-NIK IAR szakirány

21. A Parti-Game algoritmus • Nagy méretű cellákra bontás • Cellák céltól való távolságának meghatározása • Ügynök elindítása a cél felé • Ha akadályba ütközik, távolságok frissítése • Ha nincs cellák közepein keresztül vezető út a célba, a megfelelő cellák kettéosztása AndrewW.Moore. The parti-game algorithm for variable resolution reinforcementlearning in multidimensional state-spaces. In Jack D. Cowan, Gerald Tesauro, and Joshua Alspector, editors, Advances in Neural Information Processing Systems, volume 6, pages 711–718. Morgan Kaufmann Publishers, Inc., 1994. AMBERBMF-NIK IAR szakirány

22. Valósághoz közelítő térkép AMBERBMF-NIK IAR szakirány

23. Bonyolult térkép AMBERBMF-NIK IAR szakirány

24. Eredményeink • Sarokpontok kiemelése és párosítása • Két modell közötti transzformáció meghatározása • Háromdimenziós modell létrehozása • Többszintes 3D-2D konverzió • Útvonalkeresés adott pontok között AMBERBMF-NIK IAR szakirány

25. További feladatok • Más token kiemelő algoritmusok kipróbálása • Sűrű diszparitás-térkép felhasználása • Alkalmazhatóság dinamikus környezetben • További útkereső algoritmusok implementálása • A rendszer hordozójárműre ültetése AMBERBMF-NIK IAR szakirány

26. Irodalomjegyzék • AndrewW.Moore. The parti-game algorithm for variable resolution reinforcementlearning in multidimensional state-spaces. In Jack D. Cowan, Gerald Tesauro, and Joshua Alspector, editors, Advances in Neural Information Processing Systems, volume 6, pages 711–718. Morgan Kaufmann Publishers, Inc., 1994. • Jean-Claude Latombe. Robot Motion Planning. Kluwer Academic Publishers, 1991. • M. A. Al-Ansari and R. J.Williams. Modifying the parti-game algorithm for increased robustness, higher efficiency, and better policies. In Proceedings of the Tenth Yale Workshop on Adaptive and Learning Systems, pages 204–209, June 1998. New Haven, CT. • Paul J. Besl and Neil D. McKay. A Method for Registration of 3-D Shapes. IEEE Trans. Pattern Anal. Mach. Intell., 14(2):239–256, 1992. • B. K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America A, 4(4):629–642, April 1987. • Ross J. Micheals and Terrance E. Boult. A new closed-form approach to the absolute orientation problem, 1999. Master’s thesis, Lehigh University. • Andrew Johnson and Martial Hebert. Surface registration by matching oriented points. In International Conference on Recent Advances in 3-D Digital Imaging and Modeling, pages 121–128, May 1997. AMBERBMF-NIK IAR szakirány

27. Köszönjük a figyelmet! Berecz Szabolcs – szabi@mplayerhq.hu Kovács Róbert – bsmith@vnet.hu Kúthy Előd Zoltán – kuthyelod@freemail.hu