1 / 27

Mobiele sensoren voor panorama’s

Maarten Van Lier 2 e Master Computerwetenschappen. Mobiele sensoren voor panorama’s. Overzicht. Use Case Motivatie FGSIA algoritme Evaluatie Besluit Moeilijkheden Demo. Use Case. Use Case. Use Case. Motivatie. Stitching algoritmen + Geavanceerd, veel onderzoek

nasim-rich
Download Presentation

Mobiele sensoren voor panorama’s

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Maarten Van Lier 2eMaster Computerwetenschappen Mobiele sensorenvoor panorama’s

  2. Overzicht • Use Case • Motivatie • FGSIA algoritme • Evaluatie • Besluit • Moeilijkheden • Demo

  3. Use Case

  4. Use Case

  5. Use Case

  6. Motivatie • Stitching algoritmen • + Geavanceerd, veel onderzoek • + Goede resultaten • - Enkel op PC • Panorama apps • + Op smartphone • - Eenvoudige algoritmen • - Sensoren volledig vertrouwd voor alignatie

  7. Motivatie (2) • Beste van twee werelden: • Geavanceerde algoritmen • Op smartphone • Moeilijk door beperkingen smartphone!

  8. Smartphone beperkingen • Rekenkracht & geheugen = beperkt • Efficiënt algoritme = belangrijk! • Volledig op smartphone • Binnen redelijke tijd • Oplossing: gebruik smartphone sensoren • Oriëntatiebepaling • Initiële alignering • Rekenwerk reduceren

  9. FGSIA algoritme • Neem foto’s met smartphoneapp • Met 3D preview • Sla sensordata op • Vind overlap regio’s • Gebruik sensordata • Extraheer features • Uit overlap regio’s • Vind gelijke features • In overeenkomstige overlap regio’s • Vind een alignatie tussen die foto’s (homografie) • Voeg het resultaat samen

  10. 1. Neem foto’s

  11. 2. Zoek overlap regio’s

  12. 2. Zoek overlap regio’s

  13. 2. Zoek overlap regio’s

  14. 3. Detecteer features (SURF)

  15. 3. Detecteer features (SURF)

  16. 3. Detecteer features (SURF)

  17. 4. Match features Wrsch. match Mogelijk foute match Onwrsch. match

  18. 4. Match features

  19. 5. Homografie & Compositing

  20. Resultaat

  21. Resultaat (2) Standaard algoritme FGSIA algoritme • 7 foto’s inladen • 28 ms • 5953 features • 1244 ms • Feature matching • 7412 ms • Compositing • 3795 ms • Totaal: 12,451 sec • 7 foto’s inladen • 28 ms • 17 overlap regio’s bepalen • 151 ms • 4320 features (-27,43%) • 1186 ms (-4,66%) • Feature matching • 1000 ms (-86,51%) • Compositing • 3798 ms • Total: 6,135 sec (-50,73%)

  22. Resultaat (3) Computer Smartphone • 8 foto’s inladen • 24 ms • 28 overlap regio’s bepalen • 127 ms • Extract 5795 features • 3869 ms • Match features • 4771 ms • Compositing (1024x512 pixels) • 2706 ms • Total: 11,5 seconds • 94 ms (x3,92) • 339 ms (x2,67) • 24674 ms (x6,38) • 68061 ms (x14,27) • 131884 ms (x48,74) • Total: 225 seconds (x19,57)

  23. Besluit • Met FGSIA algoritme: snelheidswinst • Vooral matching fase • Gemiddeld 50 à 80% snelheidswinst • Sensoren niet perfect • Grotere overlap regio • Enkel nabije features • Geen spectaculaire snelheidswinst

  24. Moeilijkheden • Sensoren • Niet perfect, kompas drift • OpenGL ES visualisatie • Vooraf geen ervaring • Coördinaatsystemen • 6 verschillende systemen

  25. Moeilijkheden (2) • Library keuze • OpenCVvsBoofCV • Port naar Android (geheugen) • Ongebruikte data weggooien • Max 7 à 10 foto’s • Paper omzetten naar implementatie • Meer werk dan verwacht

  26. Demo

  27. Vragen

More Related