Multimedia Architecture and Processing Laboratory

1. Multimedia Architecture and Processing Laboratory 國立交通大學 資訊工程系 多媒體架構與處理實驗室(MAPL) 彭文孝助理教授 pawn@mail.si2lab.org http://mapl.nctu.edu.tw

2. 歡迎新生 • 歡迎認真上進推甄生與考試生加入本實驗室！ • 歡迎 交大資工 推甄生 曾于真 加入本實驗室！！！ • 99年度碩士名額隨時更新請直接洽詢老師

3. 老師介紹 • 現任國立交通大學資訊工程系助理教授。 • 曾於2000~2001年間在美國Intel Microprocessor Research Laboratory, Santa Clara實習 • 負責Intel於MPEG-4細緻可調視訊編碼(Fine Granularity Scalability, FGS)標準開發。 • 除了提出一個改良的編碼方法參與MPEG標準制訂，亦同時在一個虛擬3-D環境下展示FGS在多方視訊會議的應用。 • 為了達到即時(Real-Time)編解碼效果，彭博士亦針對MPEG-4 FGS之運算特性撰寫Intel MPEG Processing Library與分析新的CPU指令集。 • 2003年至今，彭博士代表國立交通大學參加MPEG與JVT標準制定會議，從事MPEG-4 Part 10 Amd.3可調視訊編碼標準(Scalable Video Coding, SVC)與MPEG-4 Part 10 Amd.4 (Multi-View Video Coding, MVC)的開發。 • 曾參與主持SVC之核心實驗(Core Experiments)並在2003年與2004年所舉行的可調視訊編碼標準Call for Evidence與Call for Proposal中獲得到主觀評比前三名成績。

4. 老師介紹 (c. 1) • 主要研究興趣包括 • 高解析度視訊編解碼 (High-Performance Video Coding) • 可調視訊編解碼 (Scalable Video Coding) • 自由視角視訊合成技術 (Free viewpoint Television) • 壓縮感知技術 (Compressive Sensing) • 可攜式視訊搜尋與比對技術 (Mobile Visual Search) • 目前積極參與ISO/IEC MPEG與ITU-T VCEG於2010年德國所舉辦之下一代高效能視訊壓縮標準競賽High-Performance Video Coding Call-for-Proposal。(# of algorithms received worldwide = 27; 台灣參與單位: MediaTek(聯發科)，交大)

5. Professional Activities • ISO/IEC MPEG代表團成員(MPEG Delegate)。 • IEEE Circuits and Systems Society Visual Signal Processing and Communications技術委員會成員(Technical Committee Member)。 • IEEE Circuits and Systems Society Multimedia Systems and Applications技術委員會成員(Technical Committee Member)。 • 2007 IEEE Workshop on Scalable Video Coding and Transport (SVCT)規劃委員(Organizing Committee Member)。 • 2010 IEEE International Conference on Multimedia & Expo (ICME) Special Session on Futuristic High-Performance Video Coding規劃委員(Organizer)。

6. 研究方向 • High-Performance Video Coding (HVC) • Scalable Video Coding (SVC) • Free Viewpoint Television (FTV) • Compressive Sensing (CS) • Mobile Visual Search (MVS)

7. High-Performance Video Coding(HVC) • 博士生：二人、碩士生：四人 • HVC是為了因應未來高解析度視訊(Super Hi-Vision, 7680×4320)所帶來的多媒體應用。現今最成熟之H.264/AVC在高解析度仍然壓縮率不足使得網路頻寬無法負荷，導致高解析度視訊仍未走進人們的生活中，HVC目的為開發下一代標準，達到H.264/AVC兩倍的壓縮率！ • 本實驗室代表交大參與HVC的Call for Proposal，將來將繼續開發新技術，成為下一代視訊壓縮標準之一部份。 • 相關資料： • Super Hi-Vision http://www.nhk.or.jp/digital/en/super_hi/index.html • HVC相關消息及技術http://www.h265.net/

8. Scalable Video Coding (SVC) • 碩士生：二人 • 由國科會96-2628-E009-015-MY3 (異質無線網路之可擴充性多媒體群播服務)補助 • SVC為MPEG與VCEG共同以MPEG-4 AVC/H.264為基礎所開發之最新可調視訊編碼標準，其目的是以單一的壓縮視訊位元流，提供時間、空間、和畫質精細可調性，讓接網路處理器透過適當的抽取與解碼不同增強層，以達到所需的解碼品質。目前研究重點，在不影響視訊品質下，進行H.264與SVC編碼格式間的快速轉換演算法。 • 相關資料： http://www.radvision.com/Visual-Communications/Video-Communications-Technology/Scalable-Video-Coding/

9. Compressive Sensing (CS) • 碩士生：一人 • 根據訊號處理理論中的Nyquist Rate Theory，取樣速率須不能小於訊號頻寬的2 倍，否則會產生Aliasing的錯誤。因此許多學者開始著眼思考，是否有更好的取樣技術？如何違反取樣速率的物理限制呢？然而，一個新的取樣技術--Compressive Sensing，可在不破壞資料的條件下，將取樣數有效的減少至低於Nyquist Rate，並在取樣後重建還原資料。此理論讓許多研究者相當振奮，許多過去受限於取樣速率的研究問題，如今皆一一被重新審視，例如1)生醫二元影像訊號、2)多重描述編碼理論、3)數位類比轉換設計、與4)影像壓縮等研究議題。本實驗室應用Compressive Sensing，進行多重描述編碼論和影像壓縮的技術研究。此外，Compressive Sensing的研究過程，需要相當的數學技巧與推導證明，因此在EECS的學術領域中，實為一富有挑戰性的研究主題。 • 詳細說明檔案：按此下載

10. Free viewpoint Television (FTV) • 博士生：一人、碩士生：一人 • 由國科會96-2220-E009-038(支援3-D立體視訊的數位電視多媒體平台設計)補助 • FTV為MPEG於07年開啟的自由視角電視計畫，其包含多視角視訊壓縮、影像深度估測與虛擬視訊合成，用以突破傳統視訊單一視角的限制。傳統視角的移動，需事先提供大量相近視角的視訊；然而，虛擬視角合成，可藉合成的方式，降低傳統方法需提供龐大資料量的缺點，並提高視角切換的自由度。本研究涉及1)多視角視訊壓縮、2)影像處理、3)電腦視覺、與4)虛擬視訊合成等多領域的整合，目前研究重心在於觀察影像與深度之原始和壓縮資訊，分析造成合成影像失真的原因，並將此議題延伸至1)深度資訊品質、2)虛擬視訊合成品質、與3)深度資訊壓縮效率之提升。

11. Mobile Visual Search (MVS) • 碩士生：二人 • Mobile Visual Search (MVS)的基本說明是用找CD專輯封面的方式來表達，利用圖形中擷取特徵點後傳至後端，後端的搜尋利用分塊的方式來尋找最符合的資料，之後再回傳給手持系統得知比對資料結果。MVS是近年來發展在智慧型手機、汽車等電子產品上的一項技術，最常見的莫過於利用手機拍書的封面，即可立即傳回後端的database去搜尋並回傳該書籍的資訊，或是拍攝街道圖得知其定位及名稱。MVS的特性 也就是資訊取得的便利性+移動性以取代傳統的固定式的資訊搜索，使得取得資訊的方式更多元，想要search的動機也將會更為隨機地頻繁地出現，最終也創造出一些商業廣告應用的契機 • 參考連結 • http://scien.stanford.edu/mvs/index.html • http://www.google.com/mobile/goggles/#landmark

12. 研究方向聯絡人 • HVC：詹家欣 ,PhD Student E-MAIL：terry0201@gmail.com • SVC：蔡閏旭 , Master Student E-MAIL：jacky1031.cs97g@nctu.edu.tw • CS ：吳思賢 , Master Student E-MAIL：nealxgs@hotmail.com • FTV：楊復堯 , Master Student E-MAIL：killerattact@gmail.com • MVS：陳孟傑 , Master Student E-MAIL：xjxjcol@gmail.com 對於研究方向有興趣的同學或是有任何的問題，歡迎來信或電話詢問

13. 歷年計畫

14. 實驗室資源 • 實驗室提供每個博士生與碩生 • 一台多核心個人電腦 • 一大一小雙螢幕 • 筆記型電腦 • 多台公用Intel i7 series 伺服器。

15. 實驗室資源 (c. 1) • 筆記型電腦*9 • 高階四核心Server*25(還會再增加) • 印表機*3 • 彩色印表事務機*1 • 3-D立體螢幕*1 • 30吋螢幕*1 • 26吋螢幕*3 • 24吋螢幕*5 • 20吋螢幕*3 • 19吋螢幕*9 • 投影機*2 • 微波爐*1 • 冰箱*1

16. Knowledge Requirement • 建議欲加入本實驗室之新生，具備有 • 機率 • 線性代數 • 訊號與系統 • 數位訊號處理 • C/C++ Programming ... 等基礎知識。

17. 實驗室福利 • 獎助學金(博士NT8000，碩二NT6000，碩一NT5000)，特殊表現另計。 • 從事實驗室的服務工作或是擔任課程助教，老師會給予額外獎助學金以資鼓勵。 • 定期實驗室聚餐或出遊。 • 提供經費供學生出國參加學術會議與視訊標準會議(MPEG和JVT)。 

18. 畢業與未來工作 • 在老師的要求下，大家都能順利兩年畢業。 • 實驗室目前畢業學長姊在華碩、奇美、奇菱、安霸、廣達、鴻海、晨星、聯發科技，凌陽科技，聯詠科技等等公司上班或研發替代役。

19. 聯絡 • 實驗室聯絡人 • 電子資訊大樓720與721室, 分機59287/59286 • 陳俊吉 cheerchen73@gmail.com (0932889109) • 吳崇豪 jacky195205@gmail.com (0921381508) • 彭老師  • 工程三館431,分機56625 • pawn@mail.si2lab.org (0955028902)

20. 課程選修建議 目前實驗室著重在多媒體訊號處理研究，所以在開學之前，老師會鼓勵同學多閱覽有關多媒體和數學的書籍，像是多媒體概論(H.264或MPEG-4簡介)或是有關最佳化的數學理論。至於開學的修課，除了所上必修(例如視訊壓縮、多媒體通訊)之外，老師也鼓勵學生選修外所課程，像是電子所的隨機過程、檢測與估計…等，這些課程都會對同學之後閱覽論文和自己的研究有所幫助。開學期間，老師也會讓同學看一些學術論文，以增加自己本身對於多媒體背景的了解，讓同學在最短的時間內，進入相關領域的研究。