Podstawy analizy obrazu

1. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów Leszek Chmielewski

2. Plan • Różne układy wzrokowe • Patrzenie: oczekiwania i potrzeby • Najważniejsze sygnały obrazowe • Skupianie uwagi i przeglądanie obrazu • Rozdzielczość i przeciążenie danymi • Różnice widzenia ssaków i układów sztucznych Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

3. Eksperci w zakresie widzenia • Jesteśmy ekspertami widzenia • Ale wzrok wzrokowi nierówny Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

4. Wzrok wzrokowi nierówny • Klejnotka zielona (Euglena Virgis) Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

5. Wzrok wzrokowi nierówny • Pająki (krzyżak) – oczy proste Jan Żabiński. Z życia zwierząt. Iskry. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

6. Wzrok wzrokowi nierówny • Skakuny: Stereoskopia, kolor[www.terrrarium.com] Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

7. Wzrok wzrokowi nierówny • Owady (muchówka...) – oczy złożone Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

8. Wzrok wzrokowi nierówny • Oczy złożone • ommatidia: rurka, soczewka, czujniki [Wikimedia Commons] • umiarkowana rozdzielczość, wielka częstość • doskonały czujnik ruchu i koloru A: rogówka B: stożek krystaliczny ... F: sztyfciki ... Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

9. Wzrok wzrokowi nierówny • Oczy złożone Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

10. Wzrok wzrokowi nierówny • Owady (ważka...) – przyoczka Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

11. Wzrok wzrokowi nierówny • Gady (hatteria...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

12. Wzrok wzrokowi nierówny • Ptaki (kura...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

13. Wzrok wzrokowi nierówny • Ptaki (kura...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

14. Wzrok wzrokowi nierówny • Widzenie jednooczne Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

15. Wzrok wzrokowi nierówny • Gady (kameleon...) – widzenie dwukierunkowe Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

16. Wzrok wzrokowi nierówny • Widzenie dwukierunkowe Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

17. Wzrok wzrokowi nierówny • Ptaki (sowa...) – widzenie dwuoczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

18. Wzrok wzrokowi nierówny • Widzenie dwuoczne – drapieżne, naczelne Wikimedia Commonswww.hlasek.comMaciej Rębiśptaki.polska.pl Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

19. Wzrok wzrokowi nierówny • Widzenie dwuoczne: może być trójwymiarowe Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

20. Oczekiwania i potrzeby • Ogólna orientacja w przestrzeni Mucha? (jedzonko) Nic ważnego Liście Ziemia (nie spaść) Moja gałąź Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

21. Oczekiwania i potrzeby • Tylko konkretna informacja Jähne B. Digital Image Processing. 5th Ed., Springer 2002. (Courtesy of Florian Raisch, Robert Bosch GmbH) Jest wada! Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

22. Oczekiwania i potrzeby • Przeżycie artystyczne Stanisław Wyspiański, Planty o świcie, 1894. Wikimedia Commons. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

23. Jedno słowo o widzeniu barwnym • Oko człowieka • czopki (6M, szybkie) – widzenie fotopowe (K, Ś, D) • pręciki (100M, wolne) – widzenie skotopowe (Pr) Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

24. Najważniejsze sygnały obrazowe • Krawędzie, kreska Człowiek Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

25. Najważniejsze sygnały obrazowe • Krawędzie Photoshop Tutorial  Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

26. Najważniejsze sygnały obrazowe • Krawędzie http://rzk-kj.com/jest-frownies-stockists-perth/  Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

27. Najważniejsze sygnały obrazowe • Krawędzie Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

28. Najważniejsze cechy obrazowe • Krawędzie Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

29. Najważniejsze sygnały obrazowe • Typy krawędzi • Pochodzenie: nieciągłość • reflektancji • oświetlenia • orientacji • głębokości Marshall A.D. Vision Systems. http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARSHALL/ 1994-1997 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

30. Najważniejsze sygnały obrazowe • Typy krawędzi • Klasy: + wypukłość  wklęsłość My o tym nie myślimy, ale miewamy złudzenia! Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

31. Najważniejsze sygnały obrazowe • Złudzenie: sześcian Neckera • Ściany: + widać– nie widać My o tym nie myślimy, ale miewamy złudzenia! Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

32. Najważniejsze sygnały obrazowe • Wyrazistość (saliency) www.galeria.infoweb.pl Black Night Project designed by Przemysław Jaworski Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

33. Najważniejsze sygnały obrazowe • Wyrazistość (saliency) www.galeria.infoweb.pl Black Night Project designed by Przemysław Jaworski Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

34. Najważniejsze sygnały obrazowe • Wyrazistość (saliency) mkey's Snake Blog http://blog.mkey.info/ Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

35. Krawędzie: jak znaleźć? • Dość łatwo: splot (detektor Sobla) krawędź pozioma krawędź pionowa Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

36. Wyrazistość: jak znaleźć? wyrazistość  jasność + krawędziowość + kontrast + ciągłość + krzywizna kontrast  krawędziowość ciągłość  całkowanie krzywizna  wyższe pochodne Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

37. Wyrazistość: przykłady Ullman S., Sha’ashua A. Structural saliency: the detection of globally salient structures using a locally connected network. MIT, A.I. Lab. Memo No. 1061, Jul 1988 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

38. Wyrazistość: przykłady Shashua A., Ullman S. Grouping Contours by iterated pairing network. Neural Info, 335-341, Morgan Kaufmann Publishers 1990 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

39. Wyrazistość: przykłady Zbliżamy się do tematuruchów oka... Itti L. et al. A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. PAMI 20(11):1254-1258, 1998 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

40. Skupianie uwagi • Obserwujemy obraz poruszając okiem • Ponieważ mamy nierównomierną rozdzielczość widzenia Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

41. Skupianie uwagi: Plamka żółta • Oko proste Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

42. Skupianie uwagi: Plamka żółta i plamka ślepa • Oko proste  plamka żółta  plamka ślepa Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

43. Plamka ślepa... Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

44. Skupianie uwagi – plamka żółta • Liczba czopków wokół plamki żółtej razem  6 000 000 czopków Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

45. Nierównomierna rozdzielczość • G. Sandini, V. Tagliasco. An antropomorphic retina-like structure for scene analysis. Comput. Vision Graph. Image Process.14 (4), 1980, 365-372. • L: obraz 700*700. • P: ta sama liczba piksli, rozdzielczość maleje od środka, logarytmicznie. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

46. Zmienna rozdzielczość – realizacja • ~ 8 000 piksli. Biegunowy układ współrzędnych. Giulio Sandini personal page http://sandini.lira.dist.unige.it Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

47. Biegunowy układ współrzędnych • Wszystkie równania inaczej sformułowane • Wiele zalet, ale nie przyjęło się Giulio Sandini personal page http://sandini.lira.dist.unige.it Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

48. Skupianie uwagi • Obserwujemy obraz poruszając okiem • Ponieważ mamy nierównomierną rozdzielczość widzenia • Aby uniknąć przeciążenia „procesora wzroku” • Gdyby nie zmienna rozdzielczość, potrzebowalibyśmy nie 6 M, ale >60 M czujników • Nerw wzrokowy miałby średnicę >5 cm! • i tak dalej... Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

49. Skupianie uwagi – przykład Ilja J. Riepin - "Nie oczekiwali„ (1884-1888). Wikimedia. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

50. Skupianie uwagi – trzy zadania • Zapamiętać położenie osób i przedmiotów A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów