メディア伝送における伝送遅延の表記手法に関する研究

メディア伝送における伝送遅延の表記手法に関する研究メディア伝送における伝送遅延の表記手法に関する研究環境情報学部 4年遠峰隆史(tomine) 親：uhyoさんサブ親：ringoさん

背景 • 複数のストリーミングを同期再生したい • たとえば… • 異なるフォーマットのビデオデータを同期再生 • フォーマットごとにエンコード・デコードにかかる時間が違う • マルチビジョン転送システム • 複数台のディスプレイを用いた映像表示 • 9画面分割など

インターネット 受信ノード群ノード間同期送信ノード群マルチビジョン転送システム • 実現方法 • ディスプレイの台数と同数の送信／受信ノード群の設置 • 各送信ノードより対応する受信ノードへの映像データ送信 • 受信ノード間での同期 • ディスプレイへの出力

問題点 • これまで… • ネットワークで発生する伝送遅延に取り組んだものが多かった • これから… • ハードウェアにおいて発生する遅延にも取り組むべき

ハードウェアと遅延 • 機材の接続方法 • メディアコンバータの有無 • 使用する機材の量 →収録・再生環境の違い • 機材のスペックの差異 • エンコード・デコードにかかる時間 • バッファ量 →機材の個体差

様々な要因に伴って異なる再生遅延時間 • 環境例 • A • Camera 1→PC 1→Internet→PC A→Display • B • Camera 2→PC 2→Internet→PC B→Media conv. B→TV B • C • Camera 3→PC 3→Internet→PC C→Media conv. C→TV C Camera Sender PC Receiver PC Display Internet A Media Conv. B C t

様々な要因に伴って異なる再生遅延時間 • 機材の組み合わせによって再生遅延時間が異なる →人間には映像や音のズレとなって伝わる • ズレの許容時間 • リップシンクの例(NHK技研): 下表 • アナウンスと打楽器における許容限調査

既存技術mLAN • 機器間同期 • mLAN(Yamaha社) • MIDI対応デバイスやミキサをFirewireを用いて接続，データ転送や協調動作を行うシステム • Clock Master • 相互接続されたデバイスに対し，シリアルバスクロック修正を行う • MIDI機器以外(アンプ・スピーカー・PC)などには関与しない Slave Clock Master Slave Slave

アプローチ • 各パートごとに発生する遅延時間をコストとして扱う • 実際に接続した際の合計遅延時間をコスト計算として扱う • 例 • 下記のような接続の場合 Internet Media Conv. Sender PC Receiver PC Media Conv. Camera TV

Sender PC 処理時間 IEEE 1394 Interface NIC Memory CPU Receiver PC 処理時間 IEEE 1394 Interface NIC Memory CPU コスト計算の例 Media converter Camera 10 50 5 20 5 Internet 500 Media converter TV 5 20 5 50 5 合計コスト＝675 青文字：コスト

コスト計算の例 • 実際の再生に至るまでの遅延時間 • 675 + α (ゆらぎ) • ゆらぎ • ネットワークやハードウェア処理におけるジッタ • このコストに基づいた遅延時間の算出、必要バッファ量計算を行う

動作概要 1.機器ごとに定義ファイルを準備 2.CUI/GUI上で接続方法を指定 5.送受信再生開始 3.それぞれの再生環境におけるカメラから再生までのコスト計算 4.コストに基づいたwait時間を設定 Internet B社製 D社製 B社製 A社製 B社製 C社製 A社製 C社製

実装環境 • 既存の映像転送技術 • DVTS • MPEG2-TS • Linux • C言語 • 余力があれば… • GUIの作成 • Java , Flash or PHP ???

評価 • 同期精度 • 同一フォーマット • すべてのディスプレイにおいてフレームのズレがないか • 異種フォーマット • DVとMPEG2-TS

メディア伝送における 伝送遅延の表記手法に関する 研究