1 / 20

Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése

Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése. Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán. A bemutató felépítése. Projekt ismertetés Rendszerfelépítés Használt technikák Sztereólátás Tartalom alapú felismerés

evers
Download Presentation

Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése Kiss Attila, Németh Tamás Budapesti Műszaki Főiskola Konzulensek: Sergyán Szabolcs, Vámossy Zoltán

  2. A bemutató felépítése • Projekt ismertetés • Rendszerfelépítés • Használt technikák • Sztereólátás • Tartalom alapú felismerés • Elért eredmények • Összefoglalás, kitekintés 2005.03.22. BMF-NIK OTDK 2005 2/20

  3. Projekt ismertetése • Célunk egy olyan kétkamerás megfigyelőrendszer készítése, amely képes: • mozgó objektumokat észlelni (Object Detecting) • térben modellezni (Stereo Vision) • saját adatbázisában ahhoz hasonlókat keresni (Content Based Image Retrival - CBIR) 2005.03.22. BMF-NIK OTDK 2005 3/20

  4. Rendszerfelépítés • Kamerakezelő rendszer • Mozgásdetektálás • Modell előkészítés • Modellező rendszer • Modellkészítés • Megjelenítés • Tartalom-alapú képkinyerő rendszer (CBIR) • Tulajdonságkinyerés • Hasonlóságmérés • Visszacsatolás 2005.03.22. BMF-NIK OTDK 2005 4/20

  5. Kamerakezelő rendszer • Objektum detektálás • Változások észlelése a háttérképhez képest • A megváltozott terület jelölése • Kapcsolat a CBIR-rel • Kamerakép • A differenciakép legkisebb határoló téglalapja • A differenciakép konvex burka által meghatározott képrészlet elküldése • Modell előkészítés (Jel alapú sztereo módszer) • Jellemző pontok keresése a Harris-féle sarokdetektáló módszerrel C. Harris, M. Stephens – „A Combined Corner and Edge Detector”, Fourth Alvey Vision Conference,pp. 147-151, 1988. 2005.03.22. BMF-NIK OTDK 2005 5/20

  6. Modellező rendszer • Modellkészítő • Jellemző pontok megfeleltetése a bal és jobb oldali kameraképen intenzitás kereszt korreláció segítségével • Mélységinformáció kinyerése a megfeleltetett pontok diszparitásának számításával • Korreláció alapú sztereó módszer • Megjelenítés • Az elkészült modell megjelenítése OpenGL használatával W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004. 2005.03.22. BMF-NIK OTDK 2005 6/20

  7. Tartalom alapú képkinyerés - 1 J. A. Lay, L. Guan – „Image Retrieval Based on Energy Histograms of the Low Frequency DCT Coefficients”, 2004. http://debut.cis.nctu.edu.tw/pages/slides/jeffrey/present2.pdf 2005.03.22. BMF-NIK OTDK 2005 7/20

  8. Tartalom alapú képkinyerés - 2 • Előfeldolgozás, zajszűrés • Medián szűrő • Gauss szűrő • Színnormalizáció (Finlayson módszere alapján) • Alacsonyszintű tulajdonságok • DCT együtthatók • Színhisztogramok 6 színtérben (RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*) • Textúrázottság (sarkosság), horizontális és vertikális maszk • Diszparitás térkép B. V. Funt, G. D. Finlayson– “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995. 2005.03.22. BMF-NIK OTDK 2005 8/20

  9. Tartalom alapú képkinyerés - 3 • Hasonlóságmérés • Minkowski-féle távolságok • Hisztogram metszet (Histogram Intersection) • Hierarchikus keresés (könyvtárszerkezet mintájára) • Több dimenziós hasonlóság vizsgálat • Visszacsatolás, Yong Rui technikája Y. Rui, T.S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol. 8, No. 5, pp. 644-655, 1998. 2005.03.22. BMF-NIK OTDK 2005 9/20

  10. Pontok megfeleltetése • Jellemző pontok keresése • Jellemző pontok megfeleltetése 2005.03.22. BMF-NIK OTDK 2005 10/20

  11. Pentagon műholdas sztereóképei és diszparitástérképe Korreláció alapú sztereó • Saját képek és diszparitástérképe 2005.03.22. BMF-NIK OTDK 2005 11/20

  12. Saját adatbázis elemei 2005.03.22. BMF-NIK OTDK 2005 12/20

  13. Demo 2005.03.22. BMF-NIK OTDK 2005 13/20

  14. Teszt eredmények(CBIR) • Néhány eredmény csoport teszteléssel 2005.03.22. BMF-NIK OTDK 2005 14/20

  15. Pontosság a University of Washington kollekció alapján H. Müller, W. Müller, S. Marchand-Maillet, T. Pun –“A Web-Based Evaluation System for CBIR”, 2004.,http://woodworm.cs.uml.edu/~rprice/ep/mueller/ UW kollekció képei Tesztelés az UW kollekcióval 2005.03.22. BMF-NIK OTDK 2005 15/20

  16. Összefoglalás – 1 • Két kamerás sztereó rendszer • Mozgásészlelés • Modellezés • Diszparitás térkép továbbítása CBIR felé • Tartalom alapú képkinyerés • Indexelési technikákkal plugin-ezhető • Automatikusan elkészíti az indexeket • Szín alapú • Textúra alapú • Mélység alapú 2005.03.22. BMF-NIK OTDK 2005 16/20

  17. Összefoglalás – 2 • Szemantikus interpretáció • Szöveges leírás • Hierarchikus adatbázis kiépítés • Lekérdezések típusa • NN – legközelebbi szomszédok • Visszacsatolás • Automatikus tesztelés és kiértékelés • Tárolás • Összehasonlítás 2005.03.22. BMF-NIK OTDK 2005 17/20

  18. Kitekintés • Új tulajdonságkinyerési technikák implementálása • Alkalmazott modellező algoritmusok gyorsítása és javítása • OODB használata 2005.03.22. BMF-NIK OTDK 2005 18/20

  19. Hivatkozások • M.J. Swain, B.H. Ballard - Color Indexing” Int’l J. Computer Vision, Vol. 7, No. 1, pp. 11-32, 1991. • B. V. Funt, G. D. Finlayson- “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995. • Y. Rui, T. S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol 8, No. 5, pp. 644-655, 1998. • J. Owens, A. Hunter, E. Fletcher - „A Fast Model-Free Morphology-Based Object Tracking Algorithm” http://www.bmva.ac.uk/bmvc/2002/papers/99/full_99.pdf • M. Pollefeys - „3D Modelling from Images” http://www.esat.kuleuven.ac.be/~pollefey/tutorial/ • C. Harris, M. Stephens – „A Combined Corner and Edge Detector” Fourth Alvey Vision Conference, pp.147-151, 1988. • H. Müller, W. Müller, Stephane Marchand-Maillet, Thierry Pun –“A Web-Based Evaluation System for CBIR” http://woodworm.cs.uml.edu/~rprice/ep/mueller/ • W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004. 2005.03.22. BMF-NIK OTDK 2005 19/20

  20. Köszönöm a figyelmet! Elérhetőségek: Kiss Attila (wampy@freemail.hu) Németh Tamás (pheenix@freemail.hu) Honlap: http://roberta.obuda.kando.hu/iar/2004_2005/FTT 2005.03.22. BMF-NIK OTDK 2005 20/20

More Related