國立清華大學電機工程學系

1. 國立清華大學電機工程學系 影像通訊實驗室

2. 影像通訊實驗室 • 資電館708室 • 研究方向： • 多媒體通訊 • 視訊處理 • 電腦視覺 • 指導教授：黃仲陵教授

3. Semantic Video indexing • 動機： 由於視訊資料大量數位化，數位資料暴增，但若結合各種最新之壓縮及視訊處理標準，編碼及壓縮的目標不難達成，所以現階段最急於解決的是我們如何在最短的時間內找到最符合我們需求的Content。

4. 研究方法 Affine Transformation Parameter Classifier Motion Estimation Image frame Knowledge Database(Bayesian Network) Low Level Feature Detection Semantic representation Frame-Based Maker

5. 步驟 • 步驟最初先對視訊資料分割為物件(Object)及背景(Background)依其高階層的語意(Semantic)做視訊切割，並找出對應的低階層特徵(Low level feature)。 • 並利用貝司網路定理(Bayesian Network)建立視訊內容之間所隱含的關係模組，加以訓練(Training)後得到內容語意之間的機率分佈及參數，如此我們即能確定語意間的相關程度，並利用這些關係指數依現有的資訊去推演(Inferring)出我們所要搜尋的資料。 • 最後將視訊依其語意加以標示。

6. FGS-based scalable video coding with drift control and selective enhancement • MPEG-4採用了FGS可調整式的壓縮架構，適用於網路上的視訊傳輸。然而，為了避免Drift的問題，FGS在enhancement layer不採用motion prediction，嚴重降低壓縮效能。我們將有效地掌握一段視訊影像中Drift的程度，在enhancement layer盡可能使用motion prediction來提升壓縮效率。 • 更進一步，我們會在畫面中擷取出視覺重點，針對這些部分加入temporal enhancement layer，以增加這些區域的畫面流暢性。

7. FGS structure • Base layer: Intra-coding • Enhancement layer: Inter-coding

8. Temporal-Scalable Coding Based on Image Content

9. Clock Synchronization for Fractal Modulation • Fractal Modulation 具有自我相似性與multi-rate的特性，對於資料的接收與可靠度有相當大的彈性。然而，在以wavelet transform 為基底的運算中，同步是需要特別處理的問題。我們將利用Fractal Modulation的自我相似性，來發展出一個極為可靠的同步技巧。 • 更進一步，我們會額外利用wavelet transform的特性得到，不同層次的同步訊號，對於multi-rate system的彈性，可以更加確保。

10. Fractal Modulation • Time and frequency diversity and multi-rate system • Time-frequency portrait

11. Synchronization Technique and System Model

12. Multiple Description Coding for Wireless Image Transmission using Multiple Antennas • 主要觀念是利用multiple description coding（MDC）將原本的影像分成兩個有關聯性的descriptions（可用transform based的方法來得到），再經由channel coding (包含error detection and correction code)，以及space-time block coding，再用兩個transmit antennas把這兩個有coding保護的descriptions傳送出去。Channel的部分可用AWGN channel或用Jake’s model來模擬。接收端則經由與傳送端相反的步驟把這兩個descriptions解碼回來。Fig 1.是整個系統的架構圖。

13. 如果所收到的兩個descriptions都是正確的話，decoder output就會得到高品質的影像。但是由於所傳送的descriptions可能會受到channel的影響而使得descriptions中某些部分會有error產生，不過我們可利用multiple description的特性，也就是可利用正確收到的description去估計另一個發生錯誤的description，decoder output就會得到較低品質但可接受的影像。預期我提出的方法所得到的影像品質會比JSCC usinglayered coding的方法來的好，而且複雜度也會比較低。

14. System Description Channel Tx1 Rx1 Channel Encoder Space Time Block Encoder Space Time Block Decoder & Channel Decoder MD Encoder Tx2 Rx2 Source MD Decoder Channel Encoder Fig 1. The system structure of multiple description coding for wireless image transmission using multiple antennas.

15. A Real-Time Model-Based Human Behavior Analysis for Automatic Security Surveillance System • 我們發展了一個在多重視野(multiple views)下以模型為基礎的即時人類行為分析系統。這個系統是一套可以即時分析真實場景中人體運動的系統，我們可以將它用在一般自動監視系統中。在這系統中我們要解決的問題是解釋一小群團體的互動關係。由於動作中的物體可能會引起遮蔽的問題，我們用多台攝影機來追縱物體，並且找到物體的位置及動作參數。

18. Layered FEC on multicast Network for Scalable Video Transmission • 由於在多接（multicast）的網路環境裡，不同的使用者有不同的延遲需求和不同的通道狀況，因此對提供視訊服務的伺服器來說，必須要能提供滿足不同使用者需求的視訊服務。 • 而傳統的流量控制方法，通常只適用於單接（unicast）的網路，並不適用在此架構下。 • 因此，我們在此使用 Layered FEC multicast scheme來傳送scalable video， 針對不同的使用者提供不同的QoS（Quality of Service）服務。

19. System Block Diagram Server Scalable Video Source Video Layer3 Receiver 1 Video Layer2 Layered Multicast Group Internet Video Layer1 MDS Code Generator Receiver n FEC Layer2 FEC Layer1

20. 系統概說 • 從系統架構圖中顯示，在伺服器端我們利用先將影像資料和殘餘通道編碼分層，然後分配到一組群組中，而使用者則可以根據他自我的需求和網路狀況，來選擇適合他的群組，以滿足不同的使用者特性和連接情況，來達到最好的接收影像表現。