290 likes | 418 Views
A kommunikáció. Forrás kódolás. Feladat: -az információ tömörítése. Amit továbbítani akarunk. Adó. Vevő. a látott képet a hallott hangot ???. A két végpont: --- a valóságot leképező emberi érzékelés --- a megjelenítésre rendelkezésre álló eszköz. szempontok.
E N D
A kommunikáció Forrás kódolás Feladat: -az információ tömörítése Kommunikációs Rendszerek
Amit továbbítani akarunk Adó Vevő a látott képet a hallott hangot ??? A két végpont: ---a valóságot leképező emberi érzékelés --- a megjelenítésre rendelkezésre álló eszköz Kommunikációs Rendszerek
szempontok • Eltérő típusú, összefüggő információk (hang, kép ..) • Az „összecsomagolás” szükségszerű (közös csatorna miatt) • Időben kötött megjelenítés • időosztás feloldási, szinkronizálási mechanizmus kell • Számos műsor és készülék előállító kompatibilitása • Szabványosított megoldások • H.261, H.263, H.264 • MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21 Kommunikációs Rendszerek
MPEGáttekintés • MPEG-1: Video CD és MP3 • MPEG-2: Digital TV, Set Top Box, DVD. • MPEG-4: Internet multimédia, mobil, DivX • MPEG-7: Multimedia Content Description Interface • MPEG-21: Multimedia Framework Kommunikációs Rendszerek
MPEG modellek Szemantikáraalapozottábrázolás MPEG-7 Objektum tulajdonságok kinyerése Objektum alapúábrázolás MPEG-4 Pixel alapú ábrázolás Objektum formálás és követés MPEG-1MPEG-2 Kommunikációs Rendszerek
MPEG 1-2 <> MPEG 4 élő élő kódolás kódolás kódolás továbbítás továbbítás Kommunikációs Rendszerek
MPEG-4 Videoformátumok • Bitráták • min. 5kbit/s • max. 10 Mbit/s • Formátumok • progressziv • Váltott soros • Felbontások • min. sub-QCIF (172 x 144 Pixel) • max. > HDTV (1440 x 1152 Pixel) Kommunikációs Rendszerek
Ábrázolás videó objektumokkal Kommunikációs Rendszerek
MPEG-4:tartalomfüggő működés VO1 VO2 VO3 VO4 Kommunikációs Rendszerek
VOP alapú kódolás MUX DMUX VO1 decoding Video Objektumok összeépítése VO2 decoding VO Kialakitás VO3 decoding Bitstream VO4 decoding User Interaction User Interaction Kommunikációs Rendszerek
MPEG-4:tartalomfüggő működés Az eredeti FRAME felbontása több VOP-re Kommunikációs Rendszerek
videó objektumok osztályai • VOP (Video Object Plane) – Egy Video Objektumnak adott pillanatban érvényes formája. Tartalmazza a mozgásra, alakra és felületre vonatkozó információt. • VOL (Video Object Layer) – A VO kódolása egy vagy több módusban is történhet. A VOL réteg biztosítja a skálázhatóságot. • VO (Video Objektum)a video szcenarió egy meghatározott 2-D eleme. A legegyszerübb esetben négyszögletes, de lehet tetszőleges alakú. • (VS) Visual Object Sequence : ez a komplett MPEG-4 szcenarió, ami állhat tetsőleges 2-D vagy 3-D természetes vagy mesterséges objektumból. Kommunikációs Rendszerek
MPEG-4: hierarchikus struktúra Minden VOPtartalmazza a mozgásra, alakra és felületre(motion, shape, texture) vonatkozó adatokat Kommunikációs Rendszerek
MPEG-4 struktúra az adatfolyamban VO VOL VOP • Hierarhia – magasabb struktúra alacsonyabb struktúrákat tartalmaz. Kommunikációs Rendszerek
MPEG-4 szcenárió példa Kommunikációs Rendszerek
A szcenárió logikaistruktúrája Szcenárió Személy Háttér Videó SzintetikusObjektumok földgömb asztal Alak Hang Kommunikációs Rendszerek
Szcenarió leírása A különböző audio-vizuális objektumok térbeli és időbeni viszonyait leíró információk kódolása.. Kommunikációs Rendszerek
A szcenárió leírása. • A VRML-ből kindulva, az MPEG kifejlesztett egy bináris nyelvet, amelyet elnevezett:BInary Format for Scenes (BIFS). • A média objektumokadott koordináta rendszerben bárhova helyezhetők. • Transzformációk alkalmazhatók a média objektumokgeometriai vagy akusztikai megjelenésének változtatására. • Primitive média objektumok csoportosításval összetett objektumok hozhatók létre. • Interactiv módonmegváltoztathatóak a végfelhasználói nézési és hallgatási pozíciói. Kommunikációs Rendszerek
az adattovábbítás Kommunikációs Rendszerek
Az MPEG-4 objektum típusai Primitiv Objektum Video Objektum (VO) Audio Objektum (AO) Szintetikus(számítógép) Természetes(mikrofon) Szintetikus(számítógép) Természetes(kamera) Kommunikációs Rendszerek
Audió kódolás • Természetes • Beszéd • Harmonic Vector eXcitation Code (HVXC)2-6kBit/s bei 8kHz • Code Excitat Linear Prediction (CELP)6-24kBit/s bei 8 bis 16 kHz • Zene • MPEG 2 AAC • TwinVQ • Szintetikus • Text to Speech • MIDI • Structured Audio Orchestra Language Kommunikációs Rendszerek
Természetes Videó Objektumok Videó Objektum (VO) Háttér(sprite coding) Forma(shape coding) Textúra(texture coding) Mozgás-Informaciók(motion coding) Kommunikációs Rendszerek
VOP Kommunikációs Rendszerek
Macroblock Grid példa Kommunikációs Rendszerek
Szintetikus videó kódolások • Arc- és testanimáció • 2D-rácsháló • VRML-Szabvány integrálva. Kommunikációs Rendszerek
Facial and Body Animation Kommunikációs Rendszerek
2D-Meshes Kommunikációs Rendszerek
MPEG4 dekódolási séma Kommunikációs Rendszerek
MPEG 4 <> MPEG 7, 21 MPEG-7 : Multimedia Tartalom Leíró Interface MPEG-4: Audio-Visual Objetumok Kódolása Dublin Core data model MPEG-7 data model MPEG-2 -- (DVD) -- (HDTV) RDF MPEG-1 (VCD) SMPTE XML Tartalom Megjelenítés TartalomLeírás MPEG-21: Multimedia Framework Tartalom Azonosítás, Használat, IPMP Kommunikációs Rendszerek