1 / 270

Desktop Video

Desktop Video. SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de. 1. Grundlagen. 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime. 1.1 Videotechnik. Das menschliche Auge Grundlagen zu Signalen Schwarzweißfernsehen

kaseem-watts
Download Presentation

Desktop Video

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido dittrich@cs.uni-dortmund.de

  2. 1. Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime

  3. 1.1 Videotechnik • Das menschliche Auge • Grundlagen zu Signalen • Schwarzweißfernsehen • Farbfernsehen • Videotechnik im Rechner

  4. 1.1 Videotechnik - Das menschliche Auge • Menschliches Auge ist Rezeptor für Bilder. • Bildet Randbedingungen für das Folgende. • Auge: • ortsabhängiges Auflösungsvermögen • optischer Tiefpaß: nur begrenztes Vermögen, Kanten (fl hohe Frequenz) aufzulösen. • Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde • Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung

  5. 1.1 Videotechnik - Grundlagen zu Signalen 1 - Darstellung über Wellen - Modulation - Signale: Amplitude, Frequenz, Phase

  6. 1.1 Videotechnik - Grundlagen zu Signalen 2 • Modulation • Jede Art der Beeinflussung einer charakteristischen Größe (Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. -schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten ...

  7. 1.1 Videotechnik - Grundlagen zu Signalen 3 • Beispiele: • Amplitudenmodulation

  8. 1.1 Videotechnik - Grundlagen zu Signalen 4 • Frequenzmodulation

  9. 1.1 Videotechnik - Grundlagen zu Signalen 5 • Quadraturmodulation: • Betrachte Trägerfrequenz und eine um 90 Grad phasenverschobene Variante derselben. • Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch. • Summiere diese beiden zu einem neuen Signal auf.

  10. 1.1 Videotechnik - Grundlagen zu Signalen 6 • Beispiel für Diskretisierung einer kontinuierlichen Funktion:

  11. 1.1 Videotechnik - Grundlagen zu Signalen 7 • Lehrsatz der Informationstheorie: • Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon) • Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt: • Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.

  12. 1.1 Videotechnik - Grundlagen zu Signalen 7 • Bandbreite: • Differenz zwischen größter und kleinster Frequenz in einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen. • In Nachrichtentechnik: • Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.

  13. 1.1 Videotechnik - Schwarzweißfernsehen 1 • Darstellung von Helligkeit : Luminanz • Zeilensprungverfahren (Schema)

  14. 1.1 Videotechnik - Schwarzweißfernsehen 2 • in Europa: 625 Zeilen, Breite:Höhe = 4:3 • also 833 Punkte pro Zeile

  15. 1.1 Videotechnik - Schwarzweißfernsehen 3 • Extreme Übergänge schwarz-weiß-schwarz:

  16. 1.1 Videotechnik - Schwarzweißfernsehen 4 • BAS-Signal (Schema) [Bild -Austast -Synchronsignal]

  17. 1.1 Videotechnik - Schwarzweißfernsehen 5 • Abschätzungen zum BAS: • Für 25 Bilder/sec: • Zeilendauer: 64ms (= 40ms/625 Zeilen) • Abtastfrequenz: 13,5 MHz, • Zeilenfrequenz (1/64ms=) 15.625 KHz • Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz • zudem: "Schwebungseffekte erzeugen unvernünftige Bilder" • --> Kell-Faktor: 0,64 (0,67) • --> Vertikale Auflösung von 400 Zeilen

  18. 1.1 Videotechnik - Schwarzweißfernsehen 6 • Amplitudenmoduliertes Videosignal:

  19. 1.1 Videotechnik - Farbfernsehen 1 • Erste Grundidee: Zusammensetzen aus z. B. RGB • Komponentenkodierung: • Betrachtet die Bestandteile der Videoinformation getrennt voneinander. z. B. Synchronisation extra • Verschiedene Arten: • RGB Grundfarben werden angegeben • Oder: Herausziehen der Luminanz Y: • YUV • Luminanz (Leuchtdichte) [braucht man für SW-Fernseher] • Chrominanz (Farbinformation)

  20. 1.1 Videotechnik - Farbfernsehen 2 • Bestimmung von YUV aus RGB: Y = 0.30 R + 0.59 G + 0.11 B U = (B-Y) * 0.493 V = (R-Y) * 0. 877 • Analoge Behandlung für YIQ - Signal (verwendet für NTSC) Y = 0.30 R + 0.59 G + 0.11 B I = 0.60 R - 0.28 G - 0.32 B Q = 0.21 R - 0.52 G + 0.31 B - Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

  21. 1.1 Videotechnik - Farbfernsehen 3 • FBAS - Signal : Farb - Bild - Austast - Synchronsignal

  22. 1.1 Videotechnik - Farbfernsehen 4 • Verschiedene Fernsehnormen • NTSCNational Television Systems Committee (Amerika) • Bildwechselfrequenz: 30 Hz • Bild aus 525 Zeilen • verwendet Quadraturamplitudenmodulation • SECAMSequential Coleur avec Memoire (Frankreich, ...) • Bildwechselfrequenz: 25 Hz • Bild aus 625 Zeilen • verwendet Frequenzmodulation • PALPhase alternating line (Deutschland, Bruch 1963) • Bildwechselfrequenz: Halbbilder 50 Hz • Bild aus 625 Zeilen • Grundprinzip: Quadraturamplitudenmodulation

  23. 1.1 Videotechnik - Farbfernsehen 5 • Bandbreite des FS-Signals (auch SW-FS)

  24. 1.1 Videotechnik - Farbfernsehen 5a • Ergänzende Literatur: • Conventional Analog Television - An Introduction www.ee.washington.edu/conselec/CE/kuhn/ntsc/95x4.htm

  25. 1.1 Videotechnik - Farbfernsehen 6 • Fernsehen der Zukunft: (?) • D2-MAC: Duobinary Multiplexed Analog Components • Komponentenverfahren! 2 hochwertige Stereo- resp. 8 Kanäle niederer Güte für Audio. (wohl überholt !!!) • HDTV: High Definition Television • in Europa: Übertragungsverfahren HD-MAC (HD = High Definition) • Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!) absolut: 1,152* 109 bit/s • durch Datenkompression Reduktion auf 34 Mbit/s (" ohne merklichen Qualitätsverlust")

  26. 1.1 Videotechnik - Farbfernsehen 7 • HDTV (Fortsetzung) • wird unterschieden in: • Studiostandard • Produktionsstandard • Übertragungsstandard • Reproduktionsstandard • übergeordneter Standard HDP (P = Progressiv)

  27. 1.1 Videotechnik - Farbfernsehen 7a • Ergänzende Literatur: (Stand 14.4.99) • HDTV Television - An Introduction http://www.ee.washington.edu/conselec/CE/kuhn/hdtv/95x5.htm • HDTV (High Definition Television) http://www.circuitcity.com/tv2/products-tv-hdtv.htm • High Definition Television http://meteor.uscolo.edu/ebersole/handbook/hdtv.html

  28. 1.1 Videotechnik - Farbfernsehen 8 • HDTV-Entwicklungen: • HD-MAC Europa • 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100 • MUSE Japan • 1125 Zeilen 60 Hz • (seit ´92 auf Sendung, gar keine Kompatibilität) • NTSC • 1050 Zeilen, 59,94 Hz

  29. 1.1 Videotechnik - Farbfernsehen 9 • Digitales Fernsehen (gemäß beschlossener Normen) • Geschlossene Kodierung (denkbar) • BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec • FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate • Probleme: • -Übersprechen, -Norm-abhängig, -Abtastfrequenz +Datenreduktion nicht komponentenabhängig, • Weitere Störungen • Komponentenkodierung: 4:2:2 Kodierung • Luminanz wird höher gewichtet: • Behandlung von Y (Luminanz) mit 13.5 MHz, • R-Y und B-Y je mit 6.25 MHz. • Je zu 8 bit pro Abtastwert. --> Multiplexen.

  30. 1.1 Videotechnik - Farbfernsehen 10 • Komponentenkodierung (Fortsetzung) • Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate. • Paßt nicht in herkömmliche PCM-Hierarchie. • Daher Substandards mit niedrigerer Datenrate: • 1:(5/6,5/6)-->180Mbit/sec • 2:(3/4,1/2)--> 135Mbit/sec • 3:(2/3,1/3)--> 108Mbit/sec • Weitere Reduktionen möglich.

  31. 1.1 Videotechnik - Videotechnik im Rechner 1 • Fast nie mit Zeilensprungverfahren ( Ausnahme:Amiga) • Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei. • Farben über CLUT (Color LookUp Table) • Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben. • Einige "Standards "(v.a. alte): • CGA Color Graphics Adapter Bildgröße: 320*200 Pixel Anzahl der verfügbaren Farben: 4 Aufwand zur Darstellung eines Bildschirminhaltes: 320*200 Pixel*(2bit/Pixel)/(8bit/byte) = 16 000 byte

  32. 1.1 Videotechnik - Videotechnik im Rechner 2 • EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte • VGA Video Graphics Array Bildgröße: 640*480 Pixel Anzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte • 8514/ A Display Adapter Mode Bildgröße: 1024*768 Pixel Anzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

  33. 1.1 Videotechnik - Videotechnik im Rechner 3 • EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = 112 000 byte • VGA Video Graphics Array Bildgröße: 640*480 Pixel Anzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = 307 200 byte • 8514/ A Display Adapter Mode Bildgröße: 1024*768 Pixel Anzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = 786432 byte

  34. 1.1 Videotechnik - Videotechnik im Rechner 4 • XGA Extended Graphics Array Bildgröße: 640*480 Pixel Anzahl der verfügbaren Farben: 65536 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = 614400 byte Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!) Also: Kompressionsverfahren nötig !

  35. 1. Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime

  36. 1.2 Kompression • Motivation • Kompressionsverfahren • Anforderungen an Kodierungen • Kodierungen • Klassifikation der Kodierungs- und Kompressionsverfahren • Grundlegende Verfahren • JPEG • H. 261 • MPEG

  37. 1.2 Kompression - Motivation 1 • Zur Motivation von Datenkompression • Beispielrechnungen für typische Werte:- Abkürzungen: 1kbit = 1.000 bit 1Kbit = 210 bit = 1.024 bit- Analog für Mbyte: 1Mbit = 210 *210 bit = 1.024*1.024 bit • Speicherplatzbedarf: = Anforderung an Speicherplatz , wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:

  38. 1.2 Kompression - Motivation 2 • Je ein Bildschirminhalt • Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2 Byte nötig. Zeichen je Bildschirmseite: 640*480/(8*8) = 4800 Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte • Vektorbilder Annahme: typisches Bild besteht aus 500 Geraden, Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit, Attributvektor pro Gerade: 8 bit. Bit je Linie: (9+10+9+10+8) bit = 46 bitSpeicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8Kbyte

  39. 1.2 Kompression - Motivation 3 • Je ein Bildschirminhalt (Fortsetzung) • Pixelbild • Annahme: 256 Farben, d.h. 1byte pro PixelSpeicherplatzbedarf: 640*480*1 byte = 307200 byte = 300 Kbyte Von hier ab: • Platzbedarf für je eine Sekunde • Sprache in Telefonqualität • Annahme: Abtastung mit 8kHz, quantisiert mit 8 bitDatenstrom: 64 Kbit/sSpeicherplatzbedarf: 8 Kbyte

  40. 1.2 Kompression - Motivation 4 • Platzbedarf für je eine Sekunde(Fortsetzung) • Stereo-Audiosignal in CD-Qualität • Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bitDatenstrom: 2*44100* 16/8 byte/s = 176400byte/sSpeicherplatzbedarf: 172 Kbyte • Videosequenz • Annahme: 25 Vollbilder pro SekundeLuminanz und Chrominanz zusamm. mit 3 byte pro PixelLuminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz.8 bit-gleichförmige Kodierung:(13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s (entspricht ca. 27 MByte/s)

  41. 1.2 Kompression - Motivation 5 • Videosequenz(Fortsetzung) • Datenrate: 640*480*25*3 byte/s = 23 040 000 byte/sSpeicherplatzbedarf: 22500 Kbyte = 21, 97 MbyteDatenübertragungsraten von ungefähr 140 (175,78) Mbit/s. ’Heute nicht kostengünstig realisierbar. Kontinierliche Medien erhöhen die Anforderungen an das System erheblich! Durch Kompressionsverfahren "erheblich" reduzierbar.

  42. 1.2 Kompression - Kompressionsverfahren Kompressionsverfahren , die immer wieder genannt werden: • JPEG für Einzelbilder (Joint Photographic Expert Group) • MJPEG • [H.261(px64) für Videosequenzen mit geringer Auflösung] • MPEG für Bewegtbilder als auch Audio (Motion Picture Expert Group) • [DVI für Einzelbilder und kontinuierliche Medien (Digital Video Interactive)]

  43. 1.2 Kompression - Anforderungen an Kod. 1 1. Gute Qualität nach Kodierung - Dekodierung 2. Verfahren möglichst einfach 3. Symmetrisch in Aufwand für Kompression-Dekom-pression • z. B. für Dialogsysteme (Bildübertragung, Videoconferencing, ..) etwa: Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64) 4. Kompression mit hohem Aufwand - Dekompression schnell z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme, ...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

  44. 1.2 Kompression - Anforderungen an Kod. 2 3.+ 4. sollen erfüllen: • Formal unabhängig von Bildschirmgröße/ Bildwiederhol-frequenz zu definieren • verschiedene Datenraten für Audio/Video • Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten • kostengünstig, möglichst Software • Kooperation von unterschiedlichen Systemen ’ Standards : de jure - de facto

  45. 1.2 Kompression - Anforderungen an Kod. 3 4. soll insbesondere erfüllen: • schneller Vor- /Rücklauf bei Anzeige der Daten • wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec • Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich. ’ Editieren nach wahlfreiem Zugriff möglich.

  46. 1.2 Kompression - Kodierungen 1 • Grobe Einteilung: • Entropiekodierung: verlustfrei (Entropie: mittlerer Informationsgehalt einer Zeichenmenge) • Quellenkodierung:meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium. • Kanalkodierung(hier weggelassen) • hybride Kodierung

  47. 1.2 Kompression - Kodierungen 2 • Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):

  48. 1.2 Kompression - Kodierungen 3 Schritte der Datenkompression(Fortsetzung) 1. Bildaufbereitung • z. B. Zerlegung in Blöcke von je 8x8 Pixel • mit n Bit Beschreibungstiefe pro Block/Pixel 2. Bildverarbeitung • erzeugt geeignete digitale Darstellung (verschiedenste Verfahren) 3. Quantisierung • erzeugt Verlustbehaftung 4. Entropiekodierung • Bearbeitet linearen Datenstrom; verlustfreie Kompression! (2. und 3. können mehrfach iterativ durchlaufen werden). Dekompression läuft invers.

  49. 1.2 Kompression - Klassifikation K&Kverf 1 (wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert) • Entropiekodierung • Lauflängenkodierung Huffman-Kodierung • Arithmetische Kodierung • Quellenkodierung • Prädiktion: DPCM DM • Transformation: FFT DCT • nach Wichtigkeit, "Layered Coding": • Bitposition • Unterabtastung • Subband Kodierung

  50. 1.2 Kompression - Klassifikation K&Kverf 2 • Vektor-Quantisierung • Hybride Kodierung • JPEG • MPEG • px64

More Related