Mozgó Objektumok Detektálása és Követése Robotkamera Segítségével

1. Mozgó Objektumok Detektálása és KövetéseRobotkamera Segítségével Horváth Péter Témavezető: Dr. Kató Zoltán

3. Összefoglalás • gyors módszer optical flow real-time meghatározására • mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével • robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) • kísérleti eredmények bemutatása • a robotkamera tesztje

4. Optical Flow Az optical flow field egy olyan vektormező, mely megmutatja, hogy egy képkocka pixelei milyen irányban és mennyire mozdultak el.

5. Maximálisan egy pixel nagyságú mozgások meghatározása • Futásidő = θ(NM) • Segítségével lehetővé vált a real-time implementáció • Kísérleteink alapján legjobbnak a következő módszer bizonyult: • Környezet vizsgálata normális eloszlás sűrűségfüggvényével súlyozva:

6. Gauss-piramis felépítése, méretének meghatározása Ha a kép méretét felére csökkentjük a mozgások is felére csökkennek, ezt folytatva az x. művelet után a mozgások nagysága 2x-edére csökken.

7. Visszafelé dolgozó stratégia • A piramis legfelső szintjén meghatározzuk a maximum 1 pixel nagyságú mozgásokat majd egy szinttel lejjebb ugrunk, itt a (2i, 2j), (2i+1, 2j), (2i, 2j+1) és (2i+1, 2j+1) vektorok megkapják az előző szint (i, j) vektor értékétnek kétszeresét. • Ezen becslés után egy finomító lépés következik.

8. Optical Flow becslése — összefoglalás • Az Optical Flow meghatározása: • 2 szekvencia kiválasztása • Gauss-piramis elkészítése a két képből • A felső szinten maximálisan 1 pixel nagyságú mozgások meghatározása. • Egy szinttel alacsonyabban lévő Optical Flow vektorok meghatározása: • Vektorok duplázása • Finomítás • GOTO 4 ha nem értük el a piramis alsó szintjét • Megjegyzés: Ha a gyakorlati alkalmazásban elegendő pontosságú a becsült Optical Flow, akkor ezen még javíthatunk egy opcionális ponttal, ha a Finomítás után egy simítást végzünk a vektormezőn.

9. Összefoglalás • gyors módszer optical flow real-time meghatározására • mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével • robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) • kísérleti eredmények bemutatása • a robotkamera tesztje

10. Mozgó objektumok követése Cél: Adott referenciaobjektum követése

11. HSV, LUV színterek, 2D hisztogram • RGB nem használható megfelelően • HSV, LUV,… van egy komponens a fényerőnek • Ezt a komponenst elhagyva egy fényre invariáns 2D színteret kapunk. • 2D hisztogram készítése • HSV: gyors, de nem lineáris a transzformáció • LUV: az emberi szem színtávolság érzetét jól közelíti, lassú nem lineáris transzformáció a hatványozás miatt

12. Expectation Maximization • ismeretlen eloszlás • Gauss-eloszlások segítségével közelítjük • Expectation Maximization • Dempster et al. 1977

13. Expectation Maximization Várható értékek, valószínűségek (m=4 esetén):  p(j) (101.771 , 191.155) 0.182 (94.391 , 66.803) 0.267 (76.129 , 43.870) 0.231 (173.542 , 82.745) 0.319

14. Gaussian Mixture Model Jelölje  a követendő objektumot mely hisztogramjának sűrűségét EM-el becsültük.  legyen egy tetszőleges pont melynek ismert a színe. Annak a valószínűsége, hogy a  pixel az O objektumhoz tartozik: , ahol P(j) a j. komponens valószínűsége. Természetesen: Annak a valószínűsége pedig, hogy a -t a j. komponens tartalmazza:

15. Az objektum lokalizálása • Az objektum a t-1. képkockán Lt-1 középpontban St-1 méretű bounding-box-szal (befoglaló téglalap) • A t. képkocka az Lt: • Ebből a St: • Küszöbölés

16. Összefoglalás • gyors módszer optical flow real-time meghatározására • mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével • robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) • kísérleti eredmények bemutatása • a robotkamera tesztje

17. A robotkamera

18. A robotkamera felépítése mozgatás: léptetőmotorok kommunikáció: PC párhuzamos port saját mikroprocesszor (PIC16C84)

19. Összefoglalás • gyors módszer optical flow real-time meghatározására • mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével • robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) • kísérleti eredmények bemutatása • a robotkamera tesztje

20. Kísérleti eredmények – optical flow

21. Kísérleti eredmények

22. Összefoglalás • gyors módszer optical flow real-time meghatározására • mozgó objektumok követése Gaussian Mixture modell és Expectation Maximization segítségével • robotkamera bemutatása (mechanikai, elektronikai felépítése, vezérlőprogram) • kísérleti eredmények bemutatása • a robotkamera tesztje

23. Vége Köszönöm a figyelmet!