Przetwarzanie informacji wizyjnej w komputerowym systemie z mobilną głowicą stereowizyjną

1. Przetwarzanie informacji wizyjnejw komputerowym systemiez mobilną głowicą stereowizyjną Krzysztof Skabek, Przemysław Kowalski Instytut Informatyki Teoretycznej i Stosowanej PAN, ul. Bałtycka 5, 44-100 Gliwice e-mail: krzysiek@iitis.gliwice.pl Krynica 2001

2. Plan wystąpienia 1. Platforma badawcza 2. Sterowanie platformą wizyjną 3. Zagadnienia stereowidzenia 4. Etapy rekonstrukcji sceny 3D 5. Reprezentacja grafowa sceny przestrzennej 6. Podsumowanie

3. Obserwowana scena 3D Pięć stopni swobody platformy Głowica stereowizyjna osadzona wysięgniku pojazdu gąsiennicowego Platforma badawcza

4. Cel: Pozyskanie kompletnej reprezentacji przestrzennej obserwowanej sceny na postawie obrazów stereowizyjnych z różnych punktów widokowych. Brak informacji a priori o obiektach sceny. Nieznajomość dokładnego położenia obserwatora względem sceny.

5. Ramka BNET ... Adres(1 bajt) Dane Suma kontrolna (2 bajty) Nr ramki(2 bity) Kod polecenia(6 bitów)

6. Model perspektywiczny kamery • p– płaszczyzna obrazu • O– środek rzutowania • f– długość ogniskowej • P = [X,Y,Z]T– punkt w przestrzeni • p = [x,y,z]T– punkt na płaszczyźnie obrazu Przekształcenie perspektywiczne

7. Układy odniesienia • Globalny układ odniesienia • Układ odniesienia kamery • Układ odniesienia obrazu

8. Parametry kamery • Parametry zewnętrznedefiniują położenie i orientację ukł. odniesienia kamery w stosunku do globalnego ukł. odniesienia • Parametry wewnętrznekonieczne do powiązania pikselowych współrzędnych punktu obrazu ze współrzędnymi w układzie odniesienia kamery

9. Zewnętrzne parametry kamery • T – wektor translacji 3D opisująca względne położenie środków dwóch układów współrzędnych • R – macierz obrotu 3×3, ortogonalna, powoduje nałożenie odpowiadających sobie osi układów współrzędnych Relacja pomiędzy współrzędnymi punktu P w układzie globalnym Pw i w układzie kamery Pk Pk = R(Pw –T)

10. Rekonstrukcja stereo • T– odległość pomiędzy środkami rzutowania Ol i Or; linia bazowa • xl, xr– współrzędne na obrazie punktów pl i pr względem punktów osi cl i cr • f– wspólna długość ogniskowej • Z– odległość pomiędzy punktem P a linią bazową Położenie punktu P w systemie stereo: , gdzie d = xr– xl

11. Parametry systemu stereo • Parametry zewnętrzneopisują względną pozycję i orientację dwóch kamerT– odległość między środkami rzutowaniaR– macierz rotacji pomiędzy układami odniesienia kamerf– wspólna długość ogniskowej • Parametry wewnętrzneTakie same jak w przypadku pojedynczej kamery Kalibracja systemu stereo to proces wyznaczania jego parametrów wewnętrznych i zewnętrznych

12. Etapy rekonstrukcji sceny 3D

13. Grafowa reprezentacja sceny 3D Graf konturu: Graf ścian: • zbiór wierzchołków w scenie • zbiór krawędzi pomiędzy wierzchołkami • współrzędne (x,y,z) wierzchołków • zbiór ścian w scenie • zbiór połączeń pomiędzy ścianami • parametry opisu ściany • parametry połączeń pomiędzy ścianami

14. Tworzenie grafu konturu i grafu ścian 4 7 4 Graf konturu 6 1 3 1 3 5 2 2 Graf ścian

15. Przetwarzanie informacji wizyjnej • Algorytmy segmentacji,wyodrębniania krawędzi, wierzchołków: metoda Susan • Pasowanie stereo-par obrazów, wyznaczanie mapy głebii: metoda konturów aktywnych • Scalanie grafów struktury:wyszukiwanie subizomorfizmów w grafach • Wyznaczanie następnego punktu widokowego: przyjęcie strategii nawigacji