Bezparametryczna metoda wyznaczania narożników przy porównywaniu zdjęć stereograficznych

1. Bezparametryczna metoda wyznaczania narożników przy porównywaniu zdjęć stereograficznych Marcin Luckner Wydział Matematyki i Nauk Informacyjnych Politechnika Warszawska

2. Geometria epipolarna Cyganek 2009

3. Przykład zdjęcia stereo

4. Dopasowanie obrazów • Identyfikacja punktów obrazów dla pomiarów w przestrzeni 3D • Identyfikacja zgodnych cech obrazów dla rekonstrukcji powierzchni 3D • Śledzenie ruchu w sekwencji obrazów

5. Strategia dopasowania obrazów Obraz wejściowy Kalibracja, orientacja Parametry orientacji Obróbka wstępna Piramida obrazów Operatory detekcji Ekstrakcja cech Progi Relaksacja, programowanie dynamiczne, sieci neuronowe Dopasowanie bazujące na cechach Wiedza, reguły za Luhmann 2006

6. Ekstrakcja obiektów • Punkty (narożniki) • Krawędzie • Symbole

7. Założenia przy ekstrakcji obiektów • Założenia dla sceny • Wspólne spektrum intensywności dla wszystkich obrazów • Jednorodne oświetlenie • Założenia dla powierzchni obiektów • Gładka • Niezmienna • Nieprzezroczysta • Znany przybliżony opis obiektów i przestrzeni

8. Detekcja krawędzi • Filtr Sobela • Binaryzacja

9. Detekcja punktów

10. Operatory detekcji • Moravec (1977) • Harris / Plessey (1988) • SUSAN (1997) • Trajkovic and Hedley (1998)

11. Problemy dopasowywania Dopasowanie punktu i na obraziejdo punktu na obraziek • Wykluczenie • Punkt Pijnie ma odpowiednika Pik • Wieloznaczność • Wielu kandydatów Pikna odpowiednika punktu Pij • Zakłócenia

12. Dopasowanie dla pary obrazów Luhmann 2006

13. Dopasowanie dla wielu obrazów

14. Dopasowywanie jako zadanie klasyfikacyjne • Dwie klasy • Para • Nie para • Różnice cech z obu obrazów| FR-FL| • Położenie • Intensywność • Wartości operatorów detekcji

15. Operator Moravec • Dla każdego punktu obrazu wyznacza się wariancję dla przesunięcia (u, v) jako: • Gdzie I jest funkcją intensywności, a i b są współrzędnymi rozpatrywanego okna, a rozpatrywane przesunięcia poziome u i pionowe v przyjmują wartości ze zbioru {-1, 0, 1}. • Wyznaczona wartość przez operatora - miara C(x,y) – określa czy dany punkt jest narożnikiem

16. Operator Harris • Dla każdego piksela (x, y) oryginalnego obrazu wyliczana jest macierz autokorelacji postaci: • gdzie: • I jest funkcją intensywności, jest operatorem splotu, w jest oknem Gaussowskim • Wyznaczona wartość przez operator - miara C(x,y) • Różnica między wyznacznikiem macierzy M, a kwadratem jej śladu, przemnożonym przez stałą k.

17. Porównanie parametrów Operator Moravec Operator Harris Rozmiar okna Odchylenie standardowe Stała k Próg Rozmiar sąsiedztwa • Rozmiar okna • Próg • Rozmiar sąsiedztwa

18. Strategia ekstrakcji cech

19. Kalibracja operatorów Harris Moravec

20. Test wykrywania narożników fasada Harris Moravec

21. Test wykrywania narożników kamienie Harris Moravec

22. Test wykrywania narożników pomnik Harris Moravec

23. Testowe obrazy stereo

24. Porównanie dla obrazów stereo fasada

25. Porównanie dla obrazów stereo pomnik

26. Budowa wektora cechfasada

27. Budowa wektora cechpomnik

28. Budowa wektora cechkamienie

29. Dopasowanie na podstawie odległości

30. Dopasowanie na podstawie odległości - wyniki

31. Wnioski • Praca na obrazie binarnym pozwala • Rozwiązać problem kalibracji danych • Zredukować liczbę wykrytych narożników • Zwiększyć liczbę wykrytych narożników • Wiedzie do zbieżności różnych metod względem położenia punktów • Zbudować treściwy wektor cech dla dalszych prac

32. Bibliography • Luhmann, Robson, Kyle, Harley • Close Range Photogrametry. Principles, Methods and Applications, Wiley 2006 • Goshtasby, Ardeshir • 2-D and 3-D image registration for medical, remote sensing, and industrial applications , Wiley 2005 • Hartley, Richard & Zisserman, Andrew • Multiple view geometry in computer vision, Cambridge 2003 • Cyganek, Boguslaw & Siebert, J. Paul • An Introduction to 3D Computer Vision Techniques and Algorithms , Wiley 2009