VIDEO

1. VIDEO Αναλογικό Video PAL, NTSC, Component, Y/C, Composite Ψηφιακό Video Σύλληψη Video, Υποδειγματοληψία σήματος, MPEG, Τεχνολογία DV

2. Μετείκασμα • Ο ανθρώπινος εγκέφαλος διατηρεί την αίσθηση μιας εικόνας για ένα ελάχιστο κλάσμα του δευτερολέπτου αφού αυτή χαθεί από το οπτικό του πεδίο. • Η φυσιολογική αυτή ιδιαιτερότητα είναι γνωστή ως «μετείκασμα» (persistence of vision) • και σ’ αυτήν αποδίδεται συνήθως η αίσθηση της συνεχόμενης κίνησης • Στον κινηματογράφο, πχ. τα πλαίσια (οι ακίνητες εικόνες) προβάλλονται με ταχύτητα 24 ανά δευτερόλεπτο

3. (A) Αναλογικό Video

4. Συμβατική «ασπρόμαυρη» τηλεόραση • Σάρωση οριζόντιων γραμμών της οθόνης: πλαίσιο (frame)

5. Διαπλεκόμενη & συνεχής σάρωση • Διαπλεκόμενη(interlaced) • 1 πλαίσιο = 2 πεδία (fields) • Εναλλακτική σάρωση των δύο πεδίων • Συνεχής(non-interlaced ή progressive) • Συνεχής σάρωση ενός πλαισίου

6. Χαρακτηριστικά Μεγέθη • ΚάθετηΑνάλυση (vertical resolution) • Πλήθος των διακριτών οριζόντιων γραμμών στην οθόνη • PAL: 625 γραμμές • NTSC: 525 γραμμές • Λόγος εικόνας (Aspect ratio) • Είναι ο λόγος του πλάτους της εικόνας προς το ύψος της. • Συμβατική τηλεοπτική εικόνα 4:3 • Τηλεόραση υψηλής ευκρίνειας (High Definition TV ή HDTV) 16:9 • Κινηματογράφος 1.85:1 ή 2.35:1. • Ρυθμός (ή συχνότητα) ανανέωσης πλαισίου (Frame rate, refresh rate) • Πόσο συχνά ανανεώνεται το πλαίσιο της εικόνας στην οθόνη του δέκτη. • Μετριέται σε μονάδες συχνότητας Hz (Hertz) ή σε fps (frames per second).

7. Συστήματα αναλογικού video: PAL & NTSC • «ανάλυση/ρυθμός ανανέωσης πεδίου/διαπλοκή» • 625/50/2:1 • PAL (Phase Alternating Line) σε Ευρώπη & Ασία. • Εύρος ζώνης 6.5 MHz • Διαπλεκόμενη(2:1) εικόνα με 625 οριζόντιες γραμμές (συνολικά) • Ρυθμός ανανέωσης πλαισίου 25 πλαίσια ανά sec(ή 50 fields per second) • Λόγος εικόνας 4:3 / Μοντέλο χρώματος YUV • 525/59.94/2:1 • NTSA (NationalTelevisionSystemsCommittee) σε Βόρεια Αμερική και Ιαπωνία • Εύρος ζώνης 5.5 MHz • Διαπλεκόμενη(2:1) εικόνα με 525 οριζόντιες γραμμές (συνολικά) • Ρυθμός ανανέωσης πεδίου 30 πλαίσια – περίπου - ανά sec) (ή 59.94fields per second) • Λόγος εικόνας 4:3 / Μοντέλο χρώματος YIQ

8. Σχήματα κωδικοποίησης χρώματος: Component – Y/C – Composite • Τρία βασικά σχήματα κωδικοποίησης έγχρωμου σήματος video (color encoding methods), • Κατά φθίνουσα σειρά ποιότητας: • Component • Y/C • Composite

9. Component • Μεταφέρει τρία διαφορετικά συστατικά σήματα (components) με βάση τα οποία αναπαράγει την πληροφορία της έγχρωμης εικόνας στο δέκτη. • Μορφές Component είναι τα σήματα • RGB • YUV • YIQ • YPrPb • YCrCb

10. RGB: Ακροδέκετες τύπου D15

11. RGB: Ακροδέκετες τύπου BNC

12. Από το RGBστο YUV • Πρόβλημα στο RGB: • Η μετάδοση των τριών σημάτων R, G και B είναι πλεοναστική • Δεν υπάρχει ξεχωριστό το σήμα φωτεινότητας • Ανάγκη για μετασχηματισμό του RGB • Μετασχηματίζεται το RGB σε σήματα: • «φωτεινότητας» (luminance, Y) και • «χρωματικότητας» (chrominance, U & V) • Έτσι εξασφαλίζεται συμβατότητα με την παλιά τεχνολογία της «ασπρόμαυρης» εικόναςvideo • Ακόμη: • Μικρότερη ευαισθησία της ανθρώπινης όρασης στη χρωματικότητα • μπορούμε να συμπιέσουμε το χρώμα περισσότερο

13. YUV • Το YUV προκύπτει από γραμμικό μετασχηματισμό του RGB • Y =0.299 R + 0.587 G + 0.114 B • U = B-Y • V = R-Y • Όπου • Υ: φωτεινότητα (luminance) • U & V: πληροφορία χρώματος(«διαφορά χρώματος» / color difference signal) • Χρησιμοποιείται σε • συστήματα τύπου PALόπου • U = 0.492 (B - Y) και • V = 0.877 (R - Y) • κάμερες και συσκευές video τύπου Betacam και D1

14. Διόρθωση κατά «γ» • Αρχική εικόνα video: πρωταρχικά R, G, B που καταγράφονται από το περιβάλλον. • Φωτεινότητα Υ: αναλογικό σήμα που καταγράφει το βαθμό φωτεινότητας της αρχικής εικόνας • ΌΜΩΣ η φωτεινότητα που παράγεται σε μια συσκευή (πχ. οθόνη) δεν είναι γραμμική συνάρτηση του εφαρμοζόμενου σήματος • Η μη γραμμική σχέση πρέπει να ληφθεί υπόψη για τη σωστή αναπαραγωγή της εικόνας

15. Τι σημαίνει στην πράξη η διόρθωση κατά «γ» • Η τεχνολογία μετατρέπει τα αρχικά R,G,B σε «διορθωμένα κατά γάμμα» (gamma corrected» σήματα R’, G’, B’ • Παράγονται από τα RGB με μη γραμμικό τρόπο, δηλ. με εξισώσεις που περιέχουν εκθετικούς όρους. • R’ = (1.099 * R 0.45)) – 0.099 • G’ = (1.099 * G 0.45)) – 0.099 • B’ = (1.099 * B 0.45)) – 0.099 • Εκθέτης: συντελεστής γ • Με βάση τα R’, G’ & B’ παράγεται: • (α) η «διορθωμένη κατά γ» φωτεινότητα που ονομάζεται “luma” Y΄ • Y΄ = 0.299*Rg + 0.587*Gg + 0.114*Bg • (β) η «διορθωμένη κατά γ» χρωματικότηταπου ονομάζεται “chroma”, U΄, V΄ • Τα luma& chromaσήματα χρησιμοποιεί η τεχνολογία (Y’U’V’)

16. Άλλα σχήματα Component κωδικοποίησης χρώματος • YIQ • Στα συστήματα NTSC • YPbPr • Χρήση καταναλωτικές συσκευές videoαναλογικής τεχνολογίας • Pr και Pb: προσαρμοσμένες εκδοχές των U και V • YCbCr • Χρήση καταναλωτικές συσκευές videoψηφιακήςτεχνολογίας(πχ. ψηφιακές κάμερες, συσκευές DVD, κλπ.). • Cr και Cb: προσαρμοσμένες εκδοχές των U και V • Δημιουργεί το χρωματικό χώρο (color space) που χρησιμοποιεί συνολικά η τεχνολογία ψηφιακού βίντεο (DV).

17. Y/C • Προκύπτει από το Component YUV • ΣΥΝΘΕΤΟΝΤΑΣ σε ένα τα δύο σήματα χρώματος U & V • Μεταφέρει ΔΥΟ συνιστώσες: • Ένα σήμα φωτεινότητας (luma) (Υ), και • Ένα σήμα χρώματος (chroma) (C) • Μεγαλύτερη συμπίεση (λόγω σύνθεσης U & V) •  Χαμηλότερη ποιότητα από το YUV

18. Composite • Προκύπτει με ΣΥΝΘΕΣΗ των luma (Y) και chroma (C) σε ένα μοναδικό σύνθετο (composite) σήμα • Μεταφέρει ταυτόχρονα τις πληροφορίες φωτεινότητας, χρώματος αμαύρωσης και συγχρονισμού. • Αναφέρεται και ως CVBS (από τα αρχικά των λέξεων Color, Video, Blanking, & Sync). • Ακόμη μεγαλύτερη συμπίεση  χαμηλότερη ποιότητα από όλες τις μορφές σημάτων

19. RGB – Y/C – Composite

20. Είσοδοι VIDEO

22. (B) ΨΗΦΙΑΚΟ Video

23. Τεχνολογία DV (Digital Video) • «Τεχνολογία DV» • σύνολο ψηφιακών τεχνολογιών με τις οποίες είναι δυνατή η εξ αρχής παραγωγή, επεξεργασία, αποθήκευση και διαμοίραση ψηφιακών αρχείων οπτικοακουστικής πληροφορίας. • Υπάρχουν ΔΥΟτρόποι για να δημιουργήσει κανείς ψηφιακά αρχεία video: •  (Α) Με ψηφιοποίηση αναλογικού video. • Η τεχνική αυτή είναι γνωστή ως «σύλληψη αναλογικού video» (analog video capturing) •  (Β) Με χρήση τεχνολογίας DV,

24. (Α) Σύλληψη αναλογικού video (capturing) • «Σύλληψη» (capturing) του αναλογικού video: • Δημιουργία αρχείου ψηφιακού video από αναλογικό σήμα video • «Κάρτα σύλληψης video» (video capture card)

25. Κάρτα Σύλληψης Video (Video Capture Card) • Βασικά χαρακτηριστικά: • Δίαυλος Σύνδεσης: PCI (ή και USB) • Παραγόμενα αρχεία: AVI ή MPEG-1, MPEG-2 • Είσοδος: Y/C, Composite • Έξοδος: (αν υπάρχει θα είναι συνήθως Y/C ή Composite) • Δυνατότητα TV-tuner: (μπορεί να υπάρχει ή όχι) • Μέγιστη Ανάλυση: 720x576 (PAL) • Λογισμικό: συνήθως η κάρτα συνοδεύεται από κάποιο λογισμικό επεξεργασίας αρχείων video

26. (Β) Χρήση τεχνολογίας DV • Ψηφιακή βιντεοκάμερα CCD Ροή ψηφιακών δεδομένων. • Χρησιμοποιούν σχεδόν αποκλειστικά θύρες επικοινωνίας τύπου IEEE-1394(γνωστότερο ως FireWire ή iLink) • Σύνδεση με την αντίστοιχη θύρα 1394 στον υπολογιστή. • Ο δίαυλος 1394 επιτυγχάνει υψηλούς ρυθμούς μεταγωγής ψηφιακών δεδομένων (μέχρι και 400Mbps)

27. Ψηφιακό σήμα video Δειγματοληψία σήματος video • Οργάνωση σήματος αναλογικού video • Οριζόντια • Κάθετα • Χρονικά

28. Συχνότητα δειγματοληψίας • Η συχνότητα δειγματοληψίας πρέπει να είναι τέτοια ώστε: • (1) τα δείγματα να βρίσκονται σε απόλυτη στοίχιση στη κάθετη διάσταση • (2) η απόσταση μεταξύ των δειγμάτων να είναι η ίδια και στην οριζόντια και στη κάθετη διάσταση • (3) η συχνότητα να παραμένει ίδια στα διάφορα συστήματα αναλογικού video • ……. 13.5 MHz

29. Video: Μεγάλος όγκος ψηφιακών δεδομένων • Δειγματοληψία αναλογικού video • Συχνότητα: 13.5 MHz • Μέγιστη ανάλυση (PAL): 720x576 • Βάθος χρώματος: 24 bit = 3 Byte • Aριθμός πλαισίων:25fps • 720 x 576 x 25 x 3 = 31104000 Bytes = 30375 kB ~ 30 MB • για κάθε δευτερόλεπτο • Για video διάρκειας μιας ώρας χρειάζεται αποθηκευτικός χώρος: • 30 x 3600 = 108000 MB= 108 GB !!

30. Ανάγκη για συμπίεση • Δύο σημαντικές τεχνικές για συμπίεση video: • (α) υποδειγματοληψία χρώματος(chroma subsampling) • (β) συμπίεσηκατά MPEG

31. Υποδειγματοληψία Χρώματος • H ανθρώπινη όραση είναι πολύ λιγότερο ευαίσθητη στις χρωματικές μεταβολές παρά σε εκείνες της φωτεινότητας. • Κατά τη δειγματοληψία μπορούν να ψηφιοποιηθούν λιγότερα δείγματα από το σήμα χρώματος (chroma, σήματα Cb, Cr) σε σχέση με το σήμα φωτεινότητας (luma, σήμα Y), • Η πρακτική αυτή ονομάζεται «υποδειγματοληψία χρώματος» (chroma subsampling) και είναι σημαντική για τη μείωση του όγκου των ψηφιακών δεδομένων. • Η αναλογία δειγμάτων που παράγονται μεταξύ των σημάτων Υ και Cb, Cr εκφράζεται ως ένας διπλός λόγος ακεραίων αριθμών • Οι συνηθέστερες αναλογίες όμως είναι 4:2:2, και 4:2:0.

32. Σχήματα Υποδειγματοληψίας • 4:4:4 Αρχικό σήμα χωρίς συμπίεση • 4:2:2 2 pixel για κάθε συνιστώσα chroma έναντι 4 του luma • 4:1:1  1 pixel για κάθε συνιστώσα chroma έναντι 4 του luma • 4:2:0  1 pixel για κάθε συνιστώσα chroma έναντι 4 του luma (και Οριζόντια και Κάθετα) (εφαρμογή σε MPEG)

33. MPEG • Moving Picture Experts Group • Οικογένεια ισχυρών συμπιεστών οπτικοακουστικής πληροφορίας • MPEG-1, MPEG-2 & MPEG-4.

34. Βασικές τεχνικές στη συμπίεση κατά MPEG • (α) Ενδοπλαισιακά (intra-frame) • Τεχνικές συμπίεσης που εφαρμόζονται στην πληροφορία μόνονμέσα στο ίδιο το πλαίσιο • (β) Διαπλαισιακά (inter-frame) • Τεχνικές συμπίεσης που εκμεταλλεύονται τον τρόπο που μεταβάλλεται η πληροφορία μεταξύ διαδοχικών πλαισίων.

35. Ενδοπλαισιακή(intraframe) • Συμπίεση JPEG στο πλαίσιο • ΜετασχηματισμόςDCT στην πληροφορία ενός πλαισίου • Κβαντισμός συντελεστών DCT συμπίεση • I-πλαίσια (I-frames) • Τα πλαίσια μόνον με ενδοπλαισιακή συμπίεση • Αποτελούν πλαίσια-κλειδιά (key frames) στην αλληλουχία των συμπιεσμένων πλαισίων που δημιουργεί το MPEG.

36. Διαπλαισιακή (interframe) • H κωδικοποίηση κάθε επόμενου πλαίσιου μπορεί να βασιστεί στην πληροφορία του προηγούμενου • Δεν χρειάζεται να αποθηκευθεί ολόκληρη η πληροφορία του επόμενου πλαίσιου αλλά μόνο το τμήμα που διαφέρει από το προηγούμενο πλαίσιο, πχ. εμφανίζεται διαφοροποιημένο λόγω κάποιας κίνησης. • Το MPEGστη διαπλαισιακή συμπίεση δημιουργεί δύο νέα είδη πλαισίων: •  Το πλαίσιο-Ρ (P-Frame, predicative frame) •  Το πλαίσιο-Β (B-Frame, bi-directional frame)

37. Πλαίσιο -Ρ • Αποθηκεύεται μόνον η πληροφορία που δείχνει το πόσο έχει μεταβληθεί αυτό το πλαίσιο σε σχέση με ένα προηγούμενο πλαίσιο αναφοράς (συνήθως ένα προηγούμενο –Ι ή –Ρ πλαίσιο). • Έτσι το πλαίσιο-Ρ αναδημιουργείται προσθέτοντας στο πλαίσιο αναφοράς την πληροφορία μεταβολής.

38. Πλαίσιο -Β • Ανάμεσα σε δύο πλαίσια-Ρ ή ανάμεσα σε ένα πλαίσιο–Ι και ένα –Ρ • Αποθηκεύουν μόνον την πληροφορία μεταβολής τους σε σχέση με ένα προηγούμενο και με ένα επόμενο πλαίσιο αναφοράς. • Το πλαίσιο-Β αναδημιουργείται λαμβάνοντας υπόψη και τα δύο αυτά πλαίσια (πριν & μετά).

39. Αλληλουχία Ι, Β, Ρ πλαισίων (1/2)

41. Αλληλουχία Ι, Β, Ρ πλαισίων (2/2) • Ι: πλαίσιο αναφοράς (ενδοπλαισιακά) • Ρ: προβλεπόμενο πλαίσιο (διαφορά με Ι) (forward prediction) • Β: διπλής κατεύθυνσης (διαφορά με Ρ & Ι -- ή Ρ και Ρ) • (forward & backward prediction, bidirectional))

42. Εκτίμηση κίνησης (motion estimation) (1/5) • Συχνά στα διαδοχικά πλαίσια η διαφορά δημιουργείται από ένα αντικείμενο που κινείται. • Aλγόριθμος: • Διαίρεση πλαισίου σε macroblocks(16x16 pixels) • Αναζήτηση των macroblocks που • είτε δεν μεταβάλλονται από το ένα πλαίσιο στο άλλο • είτε μεταβάλλονται μόνον κινούμενα (δηλ. αλλάζει η σχετική τους θέση μέσα στο πλαίσιο). • Αν εντοπιστούν τέτοια macroblocks υπολογίζεται τότε το διάνυσμα κίνησής τους (motion vector) • δηλ. ένα ζευγάρι αριθμών (πχ. 0,0, ή 12, 4 ή 25, -4 κλπ.) που δηλώνει τη κίνηση του macroblock

43. Εκτίμηση κίνησης (Motion estimation) (2/5)

44. Εκτίμηση κίνησης (motion estimation) (3/5) • Συμπιέζει τα Ρ & Β πλαίσια μειώνοντας τον χρονικό πλεονασμό • Βελτιώνει τη συμπίεση κατά ένα παράγοντα ~ 3 σε σύγκριση με την απλή ενδοπλαισιακή συμπίεση • Κατά τη συμπίεση με εκτίμηση κίνησης στο συμπιεσμένο αρχείο αποθηκεύονται: • Το διάνυσμα κίνησης (motion vector) (2 συντεταγμένες, x, y) της μετατόπισης του macroblock από την αρχική θέση (στο πλαίσιο αναφοράς) στη τελική θέση (στο πλαίσιο που κωδικοποιείται) • Τη διαφορά περιεχόμενης πληροφορίας (error terms) μεταξύ του macroblock αναφοράς και του macroblock που κωδικοποιείται

45. Εκτίμηση κίνησης (Motion estimation) (4/5) P Ι • Κωδικοποιείται: • Διάνυσμα Κίνησης • Διαφορά (σφάλμα) πληροφορίας

46. Εκτίμηση κίνησης (Motion estimation) (5/5) A B Επιθυμητό πλαίσιο Προβλεπόμενο πλαίσιο (με βάση τα διανύσματα κίνησης των macroblocks) C «Σφάλμα» Πληροφορίας Διαφορά πληροφορίας που κωδικοποιείται στο αρχείο Α = B - C // Επιθυμητό = Προβλεπόμενο – Διαφορά

47. Τα βήματα του MPEG • (1) Αναλύεται το αρχείο video για να καθοριστεί το ποια πλαίσια θα κωδικοποιηθούν ως πλαίσια-Ι, ποια ως πλαίσια–Ρ και ποια ως πλαίσια–Β. • (2) Τα πλαίσια διαιρούνται σε macroblocks (16x16 pixels) • (3) Το σήμα μετατρέπεται από RGB σε YUV ενώ ταυτόχρονα γίνεται και υποδειγματοληψία χρώματος. • (4) Εφαρμόζεται η τεχνική εκτίμησης κίνησης σε κάθε πλαίσιο-Ρ και –Β. • (5) Σε κάθε πλαίσιοΙ,-Ρ και Β τα macroblocks συμπιέζονται κατά JPEG, • (6) Εφαρμογή συμπίεσης κατά Huffman στις τελικές τιμές

48. Κωδικοποίηση MPEG Furht et al. 1996 JPEG Κωδικοποίηση Πληρο-φορία σφάλ-ματος Διανύ-σματα κίνησης

49. MPEG-1 • MPEG-1 • Εκδόθηκε το 1992 • Συμπίεση (και αποσυμπίεση) πληροφορίας videoσε CD-ROM(Video CD) • Μέγιστος ρυθμός μετάδοσης ψηφιακών δεδομένων (bit rate) 1.5 Mbps • Λόγος συμπίεσης μεταξύ 50:1 και 100:1 • Εφαρμόζεται σε σήμα με κωδικοποίηση χρώματος YCrCb. • Εφαρμόζει 4:2:0 υποδειγματοληψία στο σήμα YCrCb.

50. MPEG-2 • Εμφανίστηκε το 1994 • Εφαρμογή: • Τηλεόραση (και υψηλής ευκρίνειας HDTV) & Τεχνολογία DVD • Bit rate από 4 έως 80 Mbps • Ανάλυση 720x480 & 1280x720 στα 60 fps