Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

1. Percepcja Robotów W oparciu o wykład Dr. Hadi Moradi University of Southern California Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

2. Maszynowe Widzenie • Zadanie: zidentyfikować obiekty w środowisku (Zrozumieć środowisko). • Przykład: drużyna robotów (ang. RoboCup) • Roboty humanoidalne (2 min) • Mała liga (2 min)

3. Fizyka wzroku • Światło przechodzi przez tęczówkę • Pada na siatkówkę oka

4. Wczesne i późniejsze widzenie • Wczesne widzenie: nerwy przetwarzają informację • Późniejsze widzenie (wyższy poziom) przetwarzane w mózgu • Bardzo duży procent mózgu jest odpowiedzialny za przetwarzanie wizualne

5. Przetwarzanie światła w kamerze • W aparatach • Halogenki srebra na filmie fotograficznym, • Półprzewodnikowy przetwornik obrazu (CCDs) Bardzo proste przetwarzanie

6. Skupienie obrazu • Obraz wynikowy nie jest całkowicie ostry • Tylko przedmioty w wybranym zakresie odległości od soczewki są ostre i wyraźne • Ten zakres w aparatach jest nazwany głębią pola.

7. Rekonstrukcja obrazu • Rekonstrukcja: jaki był świat, który wytworzył ten obraz? • Wymagane są obliczenia aby odtworzyć rzut obiektów ze środowiska na płaszczyznę obrazu(zauważ, że będą one odwrócone).

8. Rozbicie obrazu na piksele • piksele: komórki obrazu • Każdy obraz jest podzielony na małe komórki • Typowy aparat: 1024 X 1024 pikseli • Ludzkie oko: • 120 x 106 rods (pręcików) • 6 x 106 cones (czopków na siatkówce)

9. Jasność obrazu • Jasność: proporcjonalna do ilości światła skierowanego na aparat • Jasność zależy od: • współczynnika odbicia powierzchni • pozycji i rozproszenia źródeł światła w środowisku • ilości światła odbitego od innych przedmiotów w otoczeniu na obserwowana powierzchnię

10. Elementy wczesnego widzenia • Przykład: • Czarno-biały aparat • Płaszczyzna obrazu 1024 x 1024 pikseli. • Poziom intensywności między białym a czarnym • Pytanie: • Czy wiemy czy jest przedmiot? • Jak znaleźć przedmiot w płaszczyźnie obrazu? • Charakterystyczny pierwszy krok: • wykrycie krawędzi: znajdź wszystkie krawędzie na obrazie. Jak?

11. Przykład

12. Wykrywanie krawędzi • Krawędzie: krzywe na płaszczyźnie obrazu ze znaczącą zmianą poziomu jasności • Proste podejście: szukać ostrych zmian jasności: • przez różniczkowanie obrazu • szukaj obszarów gdzie wielkość pochodnej jest duża • Problem: cienie innych przedmiotów.

13. Łagodzenie szumu • Szum: małe odchylenia w zróżniczkowanym obrazie. • Usuwanie szumu: • Nazywane wygładzaniem • Splot: znajdź i usuń odizolowane odchylenia • Splot stosuje filtr obrazu. • Aby znaleźć wszystkie krawędzie o jakimś nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

14. Przykład: Projekt ludzkiego ciała Wyszukiwanie krawędzi

15. Złożoność obliczeń • Wykrywanie krawędzi zostało dobrze przestudiowane • Wykrywanie krawędzi nie jest obliczeniowo proste. • =>Wizja wymaga złożonego przetwarzania.

16. Znajdywanie przedmiotów • Krok 2:Znajdź przedmioty pośród wszystkich tych krawędzi. • Segmentacja: proces rozdzielania lub organizowania obrazu w części, które odpowiadają stałym przedmiotom. • Pytania: • Skąd wiemy które linie odpowiadają którym przedmiotom? • Co tworzy przedmiot/obiekt? • Użyj wskazówek aby dostrzec przedmioty. Złożone obliczenia...

18. Wykryty obiekt

19. Wskazówki dla segmentacji (1) • Użycie nagromadzonych modeli (wizja bazująca na modelach) • porównaj wszystkie krawędzie w obrazie ze wszystkimi modelami, szukając dopasowań • weź pod uwagę rotację, przesunięcie, i skalowanie • przykład: MARKO, robot do kanałów ściekowych

20. Wskazówki dla segmentacji(2) • Wykorzystanie ruchu (wizja bazująca na ruchu) • porównaj dwa kroki czasowe, odejmij obrazy • przedmioty poruszają się jak konkretne elementy, wszystkie razem • jasność, kolor, tekstura, kształt, itp., pozostają takie same • nic innego nie powinno się poruszać

23. Wskazówki dla segmentacji (3) • Użycie zdolności widzenia binokularnego (wizja stereo) • Dwie kamery obserwują teren • Dwa obrazy bez konieczności poruszania • Ponownie odejmij, użyj znanych różnic

24. Wskazówki dla segmentacji (4) lewy obraz prawy obraz Obraz po rozpoznaniu różnic

25. Wskazówki dla segmentacji(5) • Użycie tekstur • jednolita tekstura prawdopodobnie pochodzi od jednego obiektu • porównaj dwa kroki czasowe, odejmij obrazy • Użyj cieniowania, konturowania, … • odzyskaj kształt w podobny sposób jak z tekstury

26. Przykłady segmentacji Robot ukladajacy kostke Rubika

27. Strategie biologiczne • Wiele strategii jest wykorzystywanych w systemach biologicznych • Wizja stereo z dwoma oczyma jest wszechobecna u zwierząt mięsożernych (np. psy, koty) • Jeśli obrazy między dwoma oczyma nie są połączone (jak u zwierząt roślinożernych np. krowy) wówczas informacje stereo mogą być połączone w mózgu. • Dostrzeganie nowości, niespodziewanego przedmiotu • Trudne w każdym systemie

28. Złożoność wyczuwania wizji • Rekonstrukcja:opisane metody są konieczne • Są one obliczeniowo bardzo złożone i przez to powolne • Jeśli nie ma potrzeby rekonstrukcji: • Uprościć przetwarzanie wizji • Q: Jak można tego dokonać?

29. Uproszczenie wizji • Użycie koloru • Drużyny sportowe • Użycie mniejszego planu obrazu(np. linii) • Czytanie jednej linii naraz • Puzzles • Użycie innych czujników aby uzupełnić wiedzę • podczerwień, sonar, zaciski, itp. • Użycie informacji przydatnej dla określonego zadania • do kierowania, szukaj białych linii na drodze • zawsze szukaj właściwego sensora dla określonego zadania!

30. Czujniki ultradźwiękowe • Czujniki ultradźwiękowe • pomiar czasu i odległości • nadajniki i odbiorniki • sonary w biologii

31. Czas Przelotu • Nadajnik: wysyla impuls • Odbiornik: otrzymuje odbity sygnal • Roznica czasu • 342 m/sek • Technika echolokacja

32. Pytanie? • Czy jest to odczucie pasywne czy aktywne

33. Sonary w Technice • Mapy oceanów

34. Problemy: Odbicia Otrzymanie sygnałów od innych sonarów

35. Inne zastosowania: NavBelt http://www.engin.umich.edu/research/mrl/00MoRob_19.html

36. Navchair http://www.engin.umich.edu/research/mrl/00MoRob_19.html

37. Laska Nawigacyjna

38. Laska Nawigacyjna

39. Nietoperze • 7: odbiorników sonarnych • Wiele częstotliwości do wykrywania różnych objektow • Użyte do komunikacji • Lot nietoperza (1 min 45 sec)