1 / 44

MPEG4 概論

MPEG4 概論. MPEG4 的原理與規格內容概述 主講人：姜文揚 2004/2/27 “http://www.chiariglione.org/mpeg/standards/mpeg-4/mpeg-4.htm”, MPEG4 Forum. Introduction – 為何要制訂 MPEG4 規格？. 為了使視訊、音訊媒體達到高品質、體積小、應用層面更廣的要求，於是導入了物件（ object ）的概念 MPEG4 主要目標在於影像 / 聲音上物件化；然描述，儲存，傳送，融合這些物件的方式必須使用額外的功能，且這些功能是 MPEG1/2 所沒有的

urania
Download Presentation

MPEG4 概論

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. MPEG4概論 MPEG4的原理與規格內容概述 主講人：姜文揚 2004/2/27 “http://www.chiariglione.org/mpeg/standards/mpeg-4/mpeg-4.htm”, MPEG4 Forum

  2. Introduction – 為何要制訂MPEG4規格？ • 為了使視訊、音訊媒體達到高品質、體積小、應用層面更廣的要求，於是導入了物件（object）的概念 • MPEG4主要目標在於影像/聲音上物件化；然描述，儲存，傳送，融合這些物件的方式必須使用額外的功能，且這些功能是MPEG1/2 所沒有的 • 以上需求成為制訂MPEG4規格的主要原因

  3. 各種格式的影像其資料流大小比較 • 依照CCIR601規格(720 x 480 / 4:2:2 / 30 fps)： (720 + 360 * 2) * 480 * 30 * 8 = 166 (Mbps) • 若使用MPEG2壓縮： 同樣品質：6 ～ 10 Mbps (此數據來自DVD的規格) • 若使用MPEG4壓縮： 同樣品質：1.5 ～ 2 Mbps (此數據來自個人使用WMV V8/9的經驗得來) (若使用DivX：768 Kbps ～ 3Mbps)

  4. Outline • MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  5. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  6. MPEG4的目標為： 同時MPEG4訂立了標準來達到上述目標： 素材(content)的重覆使用性(reusability) 適合網際網路上的應用 使用者和素材間的互動性 MPEG4的目標

  7. MPEG4的目標為： 同時MPEG4訂立了標準來達到上述目標： represent units of aural, visual or audiovisual content(稱作media objects) describe the composition of these objects to create compound media objects that form audiovisual scenes multiplex and synchronize the data associated with media objects interact with the audiovisual scene generated at the receiver’s end MPEG4的目標

  8. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  9. MPEG4重要定義 – 「Media Object」 • 包含了下面這三大纇： • Still images (e.g. as a fixed background) • Video objects (e.g. a talking person - without the background) • Audio objects (e.g. the voice associated with that person, background music)

  10. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  11. 實例說明MPEG4物件概念的運作方式

  12. 在一個已知的座標系下將media object放置在任何位置 改變media object的外型 編組(group)數個media object成為一個新的/複合(compound)的media object 在一個media object上加入串流資料, 例如加入聲音, 移動材質, 移動參數(animation parameter) 和使用者互動(改變視角, 聲音的聆聽位置) 實例說明MPEG4描述場景(scene)的方法

  13. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  14. 和傳輸無關的MPEG4重要功能(functions) • Binary format for scenes（BIFS）：描述時間和空間上一個場景的組成, 可以在這一層達到互動的功能 • Object Descriptions（ODs）：較低階的階層. 定義基本串流資訊（elementary streams）和物件間的關係(例如在視訊會議中, 其中一個參與者的影像和聲音間之關係)同時這一層也存放著可以存取這些基本串流資訊的URL以及智慧財產權, 和提供解碼器去檢查語法（parse）的特徵（characteristics） • （另）標準的檔案格式 • （另）互動能力 • Java的使用（MPEG-J） • 使數個串流資料（stream）合成一比資料（其中包含了timing information）的工具（FlexMux tool） • 將MPEG4資料存成檔案的工具 • 各種應用場合的介面（terminal & network） • 其他都是與MPEG4在傳輸上的規定

  15. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  16. 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • Logical structure of a scene：

  17. Binary Format for Scene description （BIFS）做了哪些事？ • How objects are grouped together • How objects are positioned in space and time • Attribute Value Selection：Examples include the pitch of a sound, the color for a synthetic object, activation or deactivation of enhancement information for scaleable coding, etc. • Other transforms on media objects：例如互動性

  18. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  19. MPEG4編碼流程圖

  20. 比較：MPEG2編碼流程圖 • “Design of an MPEG-2 Codec”, Konstantinos Konstantinides, Cheng-Tie Chen, Ting-Chung Chen, Hown Cheng, and Fure-Ching Jeng - DCT Q Entropy Encoding Invr. Q Motion Estimation Invr. DCT + Motion Compensation Frame Mem.

  21. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  22. 為什麼MPEG4需要Profiles? • 為了能夠有效率的去使用這些MPEG4中定義好的標準 • Profiles可以讓這些實作工具的運算複雜度得以控制在議定的範圍內 • 建造解碼器的時候只需要建造需要的profiles • conformance testing

  23. Visual Profiles Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile MPEG4的Profiles

  24. Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile

  25. Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile provides efficient, error resilient coding of rectangular video objects, suitable for applications on mobile networks, such as PCS and IMT2000. MPEG4的Profiles

  26. Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding of temporal and spatial scalable objects to the Simple Visual Profile, It is useful for applications which provide services at more than one level of quality due to bit-rate or decoder resource limitations, such as Internet use and software decoding. MPEG4的Profiles

  27. Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding of arbitrary-shaped and temporally scalable objects to the Simple Visual Profile. It is useful for applications such as those providing relatively simple content-interactivity (Internet multimedia applications). MPEG4的Profiles

  28. Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding of interlaced, semi-transparent, and sprite objects to the Core Visual Profile. It is useful for interactive and entertainment-quality broadcast and DVD applications. MPEG4的Profiles

  29. Visual Profiles The Simple Visual Profile The Simple Scalable Visual Profile The Core Visual Profile The Main Visual Profile The N-Bit Visual Profile (其他的是用在合成影像上 的Profiles) Audio Profiles Graphics Profiles Scene Graph Profiles MPEG-J Profiles Object Descriptor Profile adds support for coding video objects having pixel-depths ranging from 4 to 12 bits to the Core Visual Profile. It is suitable for use in surveillance applications. MPEG4的Profiles

  30. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  31. MPEG-4 File Format（目標） • flexible, extensible format which facilitates interchange, management, editing, and presentation of the media

  32. MPEG-4 File Format（範例） • The MP4 file format is composed of object-oriented structures called ‘atoms’ • Most atoms describe a hierarchy of metadata giving information such as index points, durations, and pointers to the media data. The media data itself is located elsewhere; it can be in the MP4 file, contained in one or more “mdat” or media data atoms, or located outside the MP4 file and referenced via URLs.

  33. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  34. MPEG4 System在傳輸時的示意圖

  35. 重點在於合成時精確的時間控制（包含解決網路上傳輸時所造成的延遲和封包遺失的影響）重點在於合成時精確的時間控制（包含解決網路上傳輸時所造成的延遲和封包遺失的影響） MPEG4 - Network和使用者間的傳遞

  36. MPEG4的目標 • MPEG4重要定義 –「Media Object」 • 實例說明MPEG4物件概念、場景(scene)的運作方式 • 和傳輸無關的MPEG4重要功能(functions) • 深入介紹MPEG4的function – Binary Format for Scene description （BIFS） • MPEG4編碼流程圖 • MPEG4的Profiles • MPEG-4 的File Format • MPEG4 System的傳輸 • MPEG4的其他重要能力 • MPEG4的版本關係 • Summary - 重要觀念整理

  37. 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness 8 bit transparency component Binary mask MPEG4的其他重要能力

  38. 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness Complexity scalability in the encoder Complexity scalability in the decoder Spatial scalability Temporal scalability Quality scalability Fine Grain Scalability (all of the above) MPEG4的其他重要能力

  39. 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness 提供有效率的靜態圖像、材質壓縮 11階層的quality scalability MPEG4的其他重要能力

  40. 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness 使得圖像得以切割成數個小塊（tiles），並讓每一個小塊能夠獨自編碼。這表示即使畫面解析度即使很高，也只需要少量的記憶體即可進行編碼，而且此方法能夠大大增進隨機存取的效能 MPEG4的其他重要能力

  41. 能對非矩形影像物件進行編碼 Scalability Zerotree wavelet algorithm Wavelet tiling Error Robustness Performance test中的重要一環，測試時會在MPEG4測試檔案中加入使用千分之一的資料錯誤和10ms的average length of burst errors MPEG4的其他重要能力

  42. MPEG4的版本關係

  43. Summary - 重要觀念整理 • MPEG4提供了一套標準的方法來描述場景 • Object不只是畫面上的一部份影像，更可以與其他物件（例如聲音）結合而成一個新的object • MPEG4不只可以對2D影像做編碼，亦可對2D / 3D mesh做編碼（對3D物件的編碼能力） • 各個物件間的同步是一件很重要的事（精確的時間控制）

  44. 謝謝觀賞

More Related