4. Multimedijski tipovi objekta: video

1. 4. Multimedijski tipovi objekta:video • Osnovne karakteristike pokretnih slika • Percepcija pokreta • Moguće korišćenje videa u multimedijskim aplikacijama/prezentacijama • Video kompresija: principi i implementacija • Neki tehnički aspekti računarskog predstavljanja videa

2. Vision • Čulo vida je verovatno najvažnije čulo ljudskih osećaja • Percepcija intenziteta i boja • Oko je osetljivije na crno-bele detalje • Boja se ne opaža dobro ako su smanjeni uslovi osvetljenja

3. Slike u pokretu • Perzistencija čula vida: sukcesivno prikazane slike (15 do 20 u sekundu) stvaraju iluziju kretanja • Manji broj frejmova - “flickering”, povećanjem broja frejmova dobija se pokret bez prekida

4. Ovaj video ima 4 frejma u sekundu ... ... a ovaj oko 10 (koraci se još uvek vide) Razlika ...

5. Razlika ... • Ovaj video ima 24 fps • Ali sada računar (tj. CPU i video podsistem) postaju ograničavajući faktor... • Frame Rates Movies: 24 fps TV: American: 30 fps European: 25 fps HDTV: 60 fps

6. Filmovi rade na sledeći način ... • 24 fps • ali: svaki frejm je osvetljen dva puta • Odnos širina/visina (aspect ratio - format slike, veličina kadra) je 4/3 • Šira slika se postiže specijalnom optikom (Cinemascope, Panavision)

7. TV slike • Prvi pokušaji 1936 (crno bela TV) • Kolor TV 1951 • Elektronski zrak skenira sliku horizontalno po linijama (525 USA, 625 u Evropi) • Brzina frejmova je sinhronizovana sa frekvencijom električne struje: 30Hz u USA, 25Hz u Evropi • Skenirana slika se prenosi liniju po liniju, sa odgovarajućim informacijama o sinhronizaciji

8. TV displej • Slika se ponovo kreira na strani prijemnika • Katodna cev TV-a: skenira ponovo elektronskim mlazom čiji je intenzitet modulisan signalom • Fosforne tačke osvetljene kroz masku (rešetku) isijavaju vidljivu svetlost

9. Digitalni video uređaji moraju da odgovaraju standardima ranije utvrđenim za TV uređaje Digitalni standardi moraju zadržati kompatibilnost u odnosu na standarde za analogne uređaje. Video standardi

10. Osnovi standarda za TV: Svakifrejmje podeljen na dva polja Parne i neparne linije Polja se prenose jedno za drugim Frejm je sačinjen od isprepletanih polja Video standardi

11. Interlacing-preplitanje • Koristi se zbog nesavršene elektronike • Brzina frejmova se sinhronizuje na polovinu frekvencije struje. • Parne linije skenirane u jednom polu-frejmu, a neparne linije u drugom • 50 ili 60 half-frames per second

12. Dimenzije slike

13. Problemi skladištenja • Analogni TV zapis na magnetskim trakama

14. ANALOGNI PAL (Phase Alternating Line), YUV Zapadna Evropa, Australija & Novi Zeland, Kina,… NTSC (National Television Standards Committee), YIQ Severna Amerika, Japan, Tajvan, deloviJužne Amerike. SECAM (Séquential Couleur avec Mémoire) Francuska i zemlje bivšeg Sovjetskog Saveza Standard se odnosi na prenos dok se za kamere koristi PAL Nažalost, ne postoji kompatibilnost između standarda Video standardi

15. Digitalni video standard: propisan ITU-R BT.601 i nazvanCCIR 601 720 odbiraka intenziteta(Y), 2x360 odbiraka razlike boja (B−YiR−Y) po liniji Video standardi

16. Savremeni TV • analogni HDTV • mnogo godina i para potrošenih u Japanu • malo prihvaćen zbog problema kompatibilnosti • digitalni TV i/ili HDTV (USA i evropa): • preko 1100 linija (1125 ili 1200) • 16:9 aspect ratio • kompletna digitalno procesiranje

17. Digitalni video • Digitalni video – skup digitalizovanih slika, koje se prikazuju dovoljnom brzinom frejmova • Ako želimo da prenosimo niz slika u boji treba... • 16 ili 24 bpp (za dobru boju) • najmanje 640 x 480 pixels (za prihvatljivu rezoluciju) • najmanje 25 frames per second • Ovo daje oko 15MB per second, ili preko 100 GB za ceo film • Veća rezolucija slike (1280 x 1024) i 30 fpszahtevaju oko 112.5MB/s širinu opsega, ili skoro 1TB memorije ???

18. Veličina zapisa digitalizovanog video signala (niz frejmova opisanih bitmapiranim slikama) PAL uncompressed 768x576 piksela pokadru x 3 bajta po pikselu (24 bit boja) x 25 kadrovau sekundu ≈ 31 MB u sekundu ≈ 1.85 GB u minutu Digitalni video

19. Veličina zapisa digitalizovanog video signala NTSC uncompressed 640x480 piksela pokadru x 3 bajta po pikselu (24 bitaboja) x 30 kadrovau sekundu (približno) ≈ 26 MB u sekundu ≈ 1.6 GB u minutu Digitalni video

20. Veličina zapisa digitalizovanog video signala: Prevelik za CD-ROM, DVD, Internet Dovoljni diskovi i Firewire standard Kompresija je neophodna Limitiranje veličine frejma Digitalni video

21. Načini digitalizacije i kompresije: Video kamera– DV format (mini DV, DVCAM) + Firewire (brzi interfejs ka računaru - IEEE 1394, iLink Sony) Televizija je bazirana na summation modelu boja, dok je film-movie baziran na subtraction modelu boja Digitalni video

22. Originalni frejm (levo) i komprimovani -DV frejm (desno) Digitalni video

23. Načini digitalizacije i kompresije: Računar– video kartica(analogni signal iz video kamere ulazi u računar, a kartica vrši digitalizaciju i kompresiju) Kompresija se vrši ili hardverski ili softverski. Alternativa je da se analogni signal pre ulaska u računar provlači kroz eksterni uređaj koji ga pretvara u DV signal i zatim šalje u računar preko Firewire standardnog interfejsa. Digitalni video

24. Mesto kompresije: Digitalizacija u kameri znači manje šuma (DV) Manje šuma znači bolju kompresiju Nedostatak digitalizacije u kameri je gubitak kontrole nad parametrima kompresije Kodek = compressor/decompressor (hardverski i softverski) koriste različite algoritme. Digitalni video

25. Kompresija 640x480 320x240

26. Kompresija • Video signal sadrži neku vrstu redundantnosti • Kompresija eksploatiše redundantnost da bi smanjila veličinu fajla i zahtevanu brzinu transmisije • Dva tipa kompresije: intra-frame i inter-frame, odnosno prostorna i vremenska kompresija.

27. Intra-frame (prostorna) kompresija • Radi sa pojedinačnim frejmovima i pokušava da iskoristi redundantnost prisutnu u svakom frejmu pojedinačno. • U suštini isto kao kod nepokretnih slika i grafike i većinu algoritama koje smo koristili za obradu slike možemo da koristimo i za video • Međutim, kompresija i dekompresija mora da se izvrše u realnom vremenu - čineći neke algoritme manje pogodnim od drugih

28. Prostorna redundancija • Koristi sličnost izmeđuvećine susednihelemenata slike

29. Smanjenje prostorne redundancije • RGBuYUV: manje informacija potrebno za YUV (ljudi su manje osetljivina hrominiscenciju) • Makro blokovi: grupe pixela (16x16) • Discrete Cosine Transformation (DCT) • Zasniva se na Fourierovoj analizi gde se signal predstavlja kaosumasinusnih i kosinusnih funkcija • Koncentriše se na vrednosti sa većom frekvencijom • Predstavlja pixel-e u blokovima sa manje brojeva • Kvantizacija redukujepodatkepotrebnekaokoeficijenti • Kompresija

30. Kvantizacija • velikaredukcija • kontrola ‘kvaliteta’ Prikaz smanjenja prostorne redundancije “Intra-Frame Encoded” Cik-cak, Run-length kodiranje

31. Gubitak rezolucije Original (63 kb) Niska (7kb) Vrlo niska (4 kb)

32. Inter-frame (vremenska) kompresija • Eksploatišeprisutnu redundantnost između uzastopnih frejmova, pod pretpostavkom da se samo deo svih piksela jedne slike menja od jednog frejma do sledećeg • Većina je bazirana na nekoj vrsti predikcije (ili estimacije) kako će se pikseli menjati od frejma do frejma

33. 950 951 952 Vremenska redundancija • Koristi sličnost sukcesivnih frejmova

34. Prikaz smanjenja vremenske redundancije

35. Prediktivno kodiranje • Boja se ne menja isuviše brzo unutar frejma ili između sukcesivnih frejmova • Zbog toga, boja piksela može da se proceni na osnovu znanja njegovih suseda • Zatim, razlika između stvarne vrednosti i predviđene se prenosi • Na sreću, dinamički opseg se smanjuje • Zbog toga, manje bitova po uzorku je potrebno • Ali: • postignut odnos kompresije nije visok (recimo, u opsegu od 2:1) • šta više, u slučaju gubitka nekih frejmova pri prenosu pojavljuje se značajna distorzija ...

36. Makro blokovi • Još jedan pristup baziran na predikciji • Zone ili blokovi piksela koji se mogu kretati od frejma do frejma ali se ne menjaju • Prenose se samo granice takvih blokova i njihove nove pozicije, umesto vrednosti boja svih piksela u bloku sa značajnim redukcijama • Ali: potreban je sofisticiran algoritam za identifikaciju makro blokova

37. Kompresija ... • Lossless kompresione tehnike ne izvršavaju kompresiju dobro • Lossy kompresione tehnike su bolje … ali postoji cena koja se plaća: loss = distorzija • tip distorzije zavisi od kompresione tehnike • količina distorzije zavisi od odnosa kompresije

38. Računarski video formati • Najpopularniji video formati: • AVI (Microsoft i IBM) • MPEG (MPEG) • QuickTime (Apple)

39. AVI format • Niz umetnutih audio i video frejmova koji obezbeđuje automatsku sinhronizaciju između njih • Veličina slike,brzina frejmova i intenzitet bojamogu da se podesenezavisno

40. MPEG • MPEG (Motion Picture Experts Group) • MPEG-1: first incarnation of the standard, widely used for VCD • MPEG-2: the second generation of the MPEG standard, used in DVD • MPEG-4 standard definiše kodiranje za multimedijalne strimove koji se sastoje iz više klasa objekata – videa, grafike, animacija, 3-D modela… • MPEG-7 is not a compression standard, but rather it is intended for content description • MPEG-21 is intended for Digital Rights Management (DRM)

41. MPEG-2 • Druga generacija MPEG standarda • Hardverski dekoderi/dodati kartici se zahtevaju (softverski-samo dekoderi rade sa MPEG-1) • Različite brzine odabiranja sa različitim odnosima kompresije (i različitim kvalitetom)

42. MPEG-2 tipovi frejmova • I-frejmovi (intra-codirane slike): kompresija JPEG (ali u realnom vremenu) • P-frames • B-frames

43. P-frames • Predictive-coded frames require information of the previous I-frame and subsequent P-frames • Coding based on image areas (macro blocks) that may shift between frames but do not change at all (motion estimation) • Actual algorithm not specified, but the format for transmitting the motion vector is • Small differences between macro blocks in successive frames allowed

44. B-frames • Bidirectionally predictive coded frames • Best compression ratios, but playback requires both previous and following I- and P-frames • Both predictive coded frames achieve good compression ratios, but they can never be accessed randomly, since the information contained therein is incomplete

45. QuickTime • Koristi se i kod Mac-ai PC-a • QuickTime movie je ustvari kontejner sa velikim brojem komponenti koje se zovu tracks • Svaki track se sastoji iz digitalnih medijskih podataka odgovarajućeg formata • Adaptiran od strane ISO kao startna tačka razvoja jedinstvenog digitalno medijalnog formata skladištenja za MPEG-4

46. Kodeci • I QuickTime i AVI obezbeđuju samo osnovni format za pakovanje frejmova u movie fajl ali ne prave nikakvu pretpostavku o aktuelnom algoritmu kompresije koji se koristi • Različiti algoritmi kompresije se mogu primeniti – kodeci • Većina kodeka može da se doda kao plugin postojećim instalacijama rekordera i plejera

47. Najpoznatiji kodeci • Apple Video Codec: basic codec provided with QuickTime, reasonable compression and speed • Apple Animation Codec: RLE compression, good for animations • Microsoft Video Codec: basic for AVI, reasonable compression and speed • Cinepak: much better quality and compression than Apple/MS, not too fast • JPEG: each frame is compressed as a JPEG image, fast compression, adjustable quality and compression ratio • Motion JPEG: similar to JPEG, but with predictive coding (hardware support available) • Intel Indeo: very good quality and compression, only on Intel-based platforms

48. Virtuelna realnost • Veštački kreirano 3D okruženje za računarsku simulaciju prostornih interakcija • VRML (Virtual Reality Modeling Language) je jezik i format za prikazinteraktivne 3D vektorske grafike za potrebe Web-a (objekti se ugrađuju u HTML) • novi ISO standard je X3D • Koristi se različiti senzori i dodaci za interakciju korisnika (kaciga, 3D naočare) • Primena u edukaciji (modeli), obuci (trenažeri) i zabavi (video, igre)

49. Morphing-pretapanje, metamorfoza

50. Programski alati • Za obradu video sadržaja • Avid Liquid • Apple FinalCut Studio • Adobe Premiere • Pinnacle Studio • ULEAD VideoStudio • Microsoft MovieMaker • Za VR modelovanje • Active Worlds • Macromedia Director • Wings 3D – open source 3D modelovanje • 3D okruženja i dodaci (viewers)