Program wykładu

2. Program wykładu • Systemy rejestracji obrazów – technologie CCD, CMOS • Cyfrowe metody obróbki obrazów ruchomych, metody cyfrowego polepszania obrazów • Metody kompresji i zapisu obrazów cyfrowych (MPEG1 i MPEG2) informatyka +

3. Etapy przetwarzania sygnału wizyjnego Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji. we/wycyfrowe Kompresja A/C Próbkowanie Skanowanie C/A Weanalogowe Wyanalogowe Buforramek informatyka +

4. Procesy zachodzące w analizatorach obrazu • Przetwarzanie optoelektryczne, polegające na proporcjonalnej do natężenia oświetlenia modyfikacji elektrycznych właściwości ciała stałego. • Akumulacja wytworzonej informacji elektrycznej w miejscu jej powstania, do czasu jej odczytu. • Adresowanie, czyli odczytanie wytworzonej informacji (modyfikacji) elektrycznej i opatrzenia jej adresem, umożliwiającym określenie kierunku (lub miejsca) padania odpowiadającego tej informacji strumienia świetlnego. informatyka +

5. Przetwarzanie optoelektryczne Efekt Fotoelektryczny -polega na uwalnianiu elektronów pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten elektron fotonu o określonej energii. • Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle duża, że elektron po wzbudzeniu opuszcza strukturę materiału. • Efekt fotoelektryczny wewnętrzny - w wyniku efektu fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury materiału. Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego, zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest zawsze półprzewodnikiem o właściwościach przewodzących bliższych izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej. informatyka +

6. Akumulacja i adresowanie pikseli • Akumulacja ładunku ma za zadanie podwyższenie czułości analizatora obrazów. • Adresowanie polega na wytwarzaniu informacji o wartości i położeniu (adresie) fotoładunku zgromadzonym w określonym pikselu. • Adresowanie może być dokonywane w sposób ciągły (analogowo) lub - jeżeli na powierzchni światłoczułej wytworzono skończoną liczbę elementów przetwarzająco-akumulujących - w sposób dyskretny. informatyka +

7. Adresowanie pikseli Adresowanie za pomocą rejestru przesuwającego, stosowane w analizatorach typu CTD. informatyka +

8. Koncepcja budowy analizatora obrazów typu CTD Fotoładunki są generowane i akumulowane - podczas okresu akumulacji - w umieszczonych pionowo obok siebie analizatorach linii,  nazywanych analizatorami kolumn. Rejestr adresujący każdego z analizatorów kolumn nie jest zakończony przetwornikiem q/U, lecz dołączony do przypisanego mu ogniwa rejestru przesuwającego CCD, zwanego rejestrem wyjściowym. informatyka +

9. Zasada budowy analizatora obrazów typu CCD FT (z przesuwem półobrazu) Bezpośrednie zastosowanie w koncepcji analizatora rejestrów przesuwających jako analizatorów kolumn nie jest możliwe, ze względu na zbyt długi czas transferu fotoładunków, równy okresowi akumulacji. Zaplamienie analizowanych obrazów osiągnęłoby w takim przypadku nieakceptowalny poziom. informatyka +

10. APS (Active Pixel Sensors) Przetworniki Charge Coupled Devices (CCD) opracowano we wczesnych latach 70. XX wieku z przeznaczeniem do akwizycji obrazu z niskim poziomem szumów. Przetworniki typu CMOS Active Pixel Sensors opracowano w drugiej połowie lat 90. XX wieku w celu zmniejszenia kosztów produkcji sensorów i zmniejszenia poboru mocy. informatyka +

11. APS – korzyści • Niski pobór mocy(ok. 50 mW), 3.3V cyfrowe wyjście wideo • Niższe koszty komponentów (redukcja ok. 5X) • Łatwość integracji przetworników w układach scalonych • kamera w jednym układzie scalonym • wyjścia cyfrowe • zoom elektroniczny / okna w oknach • kompresja obrazu • Redukcja zależności od japońskich części • CCDs • kontrolery informatyka +

12. Architektura – CMOS APS W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma swój przetwornik ładunku na napięcie, każdy piksel ma swój „adres” i jego zawartość może być odczytana w dowolnej kolejności informatyka +

13. Trójprzetwornikowa analiza obrazu barwnego FO1, FO2, FO3 – kanałowe filtry optyczne, us i   (i= R,G,B) – wyjściowe sygnały obrazu barw podstawowych. informatyka +

14. Zasada konstrukcji analizatora obrazów barwnych a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d) przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B), d) z segmentami subtraktywnymi (–R) i (–B) informatyka +

15. Filtry mozaikowe Na jeden piksel czerwony lub niebieski przypadają dwa zielone. Odpowiada to warunkom widzenia człowieka, które najczulej reaguje na zmiany jasności w zielonej części widma. Aby uzyskać dane o kolorze danego punku musimy skorzystać z algorytmu interpolacji i danych z sąsiednich pikseli. informatyka +

16. System do cyfrowego przetwarzania obrazów ruchomych informatyka +

17. Kamery cyfrowe Taśmy: MiniDV, Digital 8. Parametry: - rozdzielczość 500 do 540 linii - dźwięk – 2 kanały rozdzielczości 16 bitów z próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz - port IEEE 1394 – FireWire informatyka +

18. Komputerowa edycja obrazu • Upowszechnienie się w kamerach amatorskich cyfrowego standardu DV spowodowało znaczące zmiany w konstrukcji kart i programów edycyjnych. • Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie dobrej jakości obrazu o rozdzielczości poziomej 500 linii. • Karty komputerowe zostały wyposażone w interfejs IEEE 1394 umożliwiający dwukierunkową transmisję skompresowanego sygnału DV. • Przy szybkich komputerach kodek DV może być realizowany programowo. Powszechne użycie DVD jako kolejnego po kasecie DV nośnika cyfrowego, spowodowało pojawienie się kart komputerowych stosujących kompresję MPEG-2. informatyka +

19. System 3CCD Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB informatyka +

20. Skanowanie Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne) • Skanowanie międzyliniowe • Skanowanie progresywne informatyka +

21. Przykład zastosowaniaskanowania progresywnegooraz międzyliniowego 4CIF- 704x596 2CIF - 704 x 288 informatyka +

22. Efekty specjalne Kluczowanie Chroma Key: nałożenie na zwykle niebieskie lub zielone tło nowego obrazu. informatyka + 22

23. Standardy MPEG • MPEG-1 (1992) – umożliwia przesyłanie obrazu audio-video z przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub 352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu audio-video Video CD, którego jakość była porównywalna do standardu VHS. • MPEG-2 (1994) – umożliwia przesyłanie obrazów o znacznie większych rozdzielczościach, aż do 1920 x 1152 punktów, i przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do opracowania i wdrożenia cyfrowych standardów emisji programów telewizyjnych. • MPEG-4 (1999) – przystosowany został głównie do kompresji danych strumieniowych (np. wideokonferencje), oferuje najwyższy stopień kompresji z całej rodziny standardów MPEG. informatyka +

24. MPEG-1 Rozdzielczość: SFI (SourceIntermediate Format) 352p x 240l x 30FPS 352p x 288l x 25FPS Szybkość bitowa: 1,5Mb/s nośnik magnetyczny nośnik optyczny sieć komputerowa Kompresja MPEG-1 informatyka +

25. Przestrzeń kolorów RGB i YCbCr Tryb YCbCr przechowuje informacje o kolorze jako • luminacja (jasność - Brightness) • chrominancja (barwa - Hue) Tryb YCbCr jest używany przy kompresji MPEG ponieważ umożliwia osiągnięcie lepszego współczynnika kompresji niż tryb RGB Y =0.299(R – G) + G + 0.114(B – G) Cb =0.564(B – Y); Cr = 0.713(R – Y) informatyka +

26. Przestrzeń kolorów RGB i YCbCr Składowe luminancji Y i chrominancji CR CB obrazu kolorowego. informatyka +

27. MPEG-1 struktura próbek w obrazie Dla standardu MPEG-1 przyjęto strukturę próbkowania 4:2:0 (na 4 próbki luminancji przypadają dwie próbki chrominancji w jednej linii, oraz 0 próbek chrominancji w kolejnej linii). Wartość próbek chrominancji wyznacza się poprzez interpolację dla położenia pośrodku kwadratu złożonego z próbek luminancji. informatyka +

28. MPEG-1 struktura próbek w obrazie Makroblokto elementarna porcja obrazu kodowana przez koder MPEG. Jest to zestaw czterech bloków luminancji Y, jednego bloku chrominancji Cr i jednego bloku chrominancji Cb. informatyka +

29. MPEG-1 struktura próbek w obrazie Przekrój (slice) to pośrednia struktura złożona z pewnej liczby makrobloków występujących kolejno w porządku rastrowym. Może zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać się na wiele wierszy. informatyka +

30. DCT IDCT Przekształcenie macierzy amplitud z(i,j) w macierz Z(k,l) współczynników transformat Przekształcenie macierzy Z(k,l) w blok pikseli z(i,j) DCT ⇄ IDCT Odwracalność transformacji DCT Transformara kosinusowa (DCT) • operuje na znormalizowanych blokach 8x8 pikseli • przekształca dane do postaci umożliwiającej zastosowanie efektywnych metod kompresji informatyka + 30

31. Fizyczna interpretacja współczynników macierzy DCT informatyka +

32. Kwantyzacja Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez podzielnie ich przez właściwy współczynnik znajdujący się w tabeli kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby całkowitej. Proces kwantyzacji można opisać równaniem: gdzie: F(x,y) – współczynniki transformacji, Q(x,y) – tablica kwantyzacji, round(x) – funkcja zaokrąglająca x do najbliższej liczby całkowitej. informatyka +

33. Kodowanie Huffmana • Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w malejącym porządku ich częstości występowania. • Dopóki istnieją przynajmniej dwa drzewa: • z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2 utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2, • przypisz „0” każdej lewej, a „1” każdej prawej gałęzi drzewa. • Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia. Przykład: Z={A,B,C,D,E,F}, P={0.35, 0.17, 0.17, 0.16, 0.10, 0.05} informatyka +

34. MPEG-1 obrazy typu I Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG. • I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek sygnału luminancji i 2 chrominancji). • II etap: niezależne przekształcanie każdego bloku przy wykorzystaniu DCT. • III etap: kwantowanie - podzielenie każdego współczynnika z macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacjii zaokrąglenie wyniku do liczby całkowitej (utrata części informacji). • IV etap: kodowanie kodem Huffmana skwantowanych współczynników macierzy DCT. O stopniu kompresji tego etapu decyduje liczba poziomów kwantyzacji współczynników macierzy DCT- im mniejsza liczba poziomów, tym większa kompresja. informatyka +

35. MPEG-1 Obrazy typu P • Definiowanie elementów ruchomych: dla każdego makrobloku obrazu bieżącego wyszukuje się najbardziej podobny blok 16x16 pikseli w poprzednim obrazie typu I lub P. Dopasowuje się je tylko do składowej luminancji. • Zakłada się jedynie liniowe przesunięcie bloku pikseli, nie uwzględnia się obrotu ani zmiany wymiaru bloku. • Położenie znalezionego bloku określa się za pomocą wektora przesunięcia tego bloku w stosunku do makrobloku w obrazie typu P- tzw. wektora ruchu. informatyka +

36. poszukiwanie najbardziej podobnych bloków w dwu obrazach odniesienia: wcześniejszym i późniejszym wyznaczenie dwóch wektorów ruchu MPEG-1 Obrazy typu B Obrazy typu B kodowane są podobnie jak obrazy typu P Kodowana jest różnica między bieżącym makroblokiem a jego predykcją. predykcja wyznaczenie bloku prognozowanego poprzez interpolację ze znalezionych bloków: wcześniejszego i późniejszego informatyka +

37. MPEG–1 obrazy typu B informatyka +

38. MPEG-1 GOP Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy obrazów GOP (Group Of Pictures) informatyka +

39. I I P P B B B B B B B B B MPEG1 kolejność transmisji ramek informatyka +

40. MPEG-2 Szybkość bitowa: Przeznaczony do rozpowszechniania telewizji programowej 10Mb/s 40Mb/s • przetwarzanie obrazów z wybieraniem międzyliniowym • większa rozdzielczość próbkowania • zmieniona i rozszerzona struktura próbkowania chrominancji • skalowalność jakościowa • przestrzenne kodowanie obrazu SDTV HDTV telewizja standardowej rozdzielczości telewizja wysokiej rozdzielczości MPEG-2 informatyka +

41. MPEG-2 struktura próbkowania Struktury próbkowania w standardzie MPEG-2 informatyka +

42. 4:4:4 4:2:2 4:2:0 MPEG-2 struktura makrobloku Struktury makrobloków dla różnych struktur próbkowania informatyka +

43. Struktura makrobloku luminancji podczas kodowania DCT ramki Struktura makrobloku luminancji podczas kodowania DCT pola MPEG-2 struktura makrobloku Wybieranie międzyliniowe  ramka sygnału składa się z dwóch pól informatyka +

44. MPEG-2 profile i poziomy informatyka +

46. informatyka +