1 / 79

ゲーム開発者向け最新技術論文の解説・実装講座

ゲーム開発者向け最新技術論文の解説・実装講座. レンダリストのためのカメラ（光学）理論とポストエフェクト. 五反田 義治 株式会社トライエース 研究開発部. 目次. はじめに HDR とレンズに関する基礎知識 フィルムに関する基礎知識 その他の知識 実装 デモ. なぜポストエフェクトか ?. カメラによって発生するエフェクトの再現 特にレンズによって発生するエフェクトは物理的に再現するのは負荷が高い レイトレーシング 事前計算 +GPU でのレンダリング (PRT 的手法 ) フィルムで起こるエフェクトはポストエフェクト的

garrison-noe
Download Presentation

ゲーム開発者向け最新技術論文の解説・実装講座

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ゲーム開発者向け最新技術論文の解説・実装講座ゲーム開発者向け最新技術論文の解説・実装講座 レンダリストのためのカメラ（光学）理論とポストエフェクト 五反田 義治 株式会社トライエース 研究開発部

  2. 目次 • はじめに • HDRとレンズに関する基礎知識 • フィルムに関する基礎知識 • その他の知識 • 実装 • デモ

  3. なぜポストエフェクトか? • カメラによって発生するエフェクトの再現 • 特にレンズによって発生するエフェクトは物理的に再現するのは負荷が高い • レイトレーシング • 事前計算+GPUでのレンダリング(PRT的手法) • フィルムで起こるエフェクトはポストエフェクト的 • 現行ハードウェアでの現実的な実装解

  4. HDRレンダリングの有効利用 • HDRレンダリングが有効活用されていない • 負荷の高い高精度バックバッファへのレンダリング • その割にはブルームとトーンマップだけ? • せっかくなのでもっと有効利用したい • せっかくHDRレンダリングしているのに • フォーカスブラー(DOF)やモーションブラーの処理がLDRバッファ(トーマップ後)で行われている

  5. ポストエフェクトの重要性 ポストエフェクトあり ポストエフェクトなし

  6. 物理的なエフェクト • 物理的なエフェクトがどこで起きているのか考える • 受光体(フィルムなど)に光が当たるまではHDR領域である • レンズエフェクトはすべてHDR領域 • 受光体に光が当たったあとはLDR領域と見なせる • フィルムなどはそれでもRGB8bitよりは高精度

  7. なぜ物理的? • 現実的でないエフェクト • 物理的に不可能な撮影状態になり、ユーザーが違和感を感じる • 広角レンズや遠いピントなのに深い被写界深度 • 暗い場所を撮影しているのに絞りが絞られている • 長時間露光? モーションブラーは? • 暗い場所なのにノイズやグレインがない • 手ぶれ、モーションブラー必要では? • 動画ではシャッタースピードを長くできない • 非常に明るい場所に回折現象がおきていない • などなど…

  8. 物理的なエフェクト処理の前に • レンダリングはリニア空間で行う • リニアでないと物理的に正しい処理が難しい • 色空間を意識する • テクスチャがsRGBならリニアに変換 • 理想はスペクトルレンダリング? • 最後にガンマ補正を行う • ディスプレイにあわせたガンマ補正

  9. エフェクトの種類 • レンズによって起こる(光学的な)エフェクト • フォーカスブラー • モーションブラー(カメラ座標系におけるオブジェクトの移動) • グレア、スター(光の回折現象) • レンズゴースト • レンズフレア(ハレーション) • ザイデル収差(球面収差、コマ収差、非点収差、像面歪曲、歪曲) • 色収差(軸上色収差、倍率色収差) • ケラレ(フォーカスブラーの蝕、周辺減光) • コサイン4乗則(周辺減光) • レンズ内のチリ

  10. エフェクトの種類 • フィルム(CCD)によって起こるエフェクト • トーンマップ系 • フィルム、CCDの特性 • グレイン、ノイズ • 色温度 • スミア(デジタル)

  11. エフェクトの種類 • その他のエフェクト • フィルター(カメラ) • クロスフィルター • PLフィルター • など • カメラで発生するもの • オートフォーカス • 自動露出 • カメラ内のチリ • その他、考慮すべきもの • ガンマ補正 • ディザ

  12. エフェクトのサンプル • いくつかの代表的なエフェクトの画像

  13. 目次 • はじめに • HDRとレンズに関する基礎知識 • フィルムに関する基礎知識 • その他の知識 • 実装 • デモ

  14. HDRとレンズの基礎知識 • HDRとレンズ編 • 川瀬さん

  15. 目次 • はじめに • HDRとレンズに関する基礎知識 • フィルムに関する基礎知識 • その他の知識 • 実装 • デモ

  16. トーンマップ • なぜフィルムなど実際に存在する物理のシミュレーションをするのか? • Reinhardなどのメジャーなトーンマップの式が存在する • これらのトーンマップはHDRをLDRとして情報の圧縮することが目的で決してアーティスティックではない • よりアーティスティックな表現としてのトーンマップが欲しい • デザイナーがトーンカーブやカラーマトリクスで調整するのも一つの手段 • フィルムシミュレーションは楽にそれっぽい絵を出すための方法の一つ • すでにフィルムやデジタルカメラというものは人々が見慣れている

  17. 受光体の種類 • フィルム • 銀塩カメラ、映画撮影などで使用 • 独特の質感、グレイン • アナログな部分での制限 • 特性上、明るい部分と暗い部分のコントラストが圧縮される • しかし逆に言えば、簡単に飽和(クランプ)しないでハイライトとローライトに質感が残る • この特性を生かすと、ハイコントラストでも簡単に飽和しない映像にすることができる

  18. 受光体の種類 • CCD, CMOS • デジタルカメラ、ハイビジョンカメラ • 質感はソフトウェアに依存 • ノイズ • フィルムに比べ暗部に強い • 一般的な特性(ソフトウェア処理)ではフィルムに比べて変化がなだらか • ローライトでは特にフィルムと異なる • ハイライト側もフィルムよりなだらか

  19. フィルムの特性グラフ • 特性曲線 • ある明るさ(ルクス秒)の光に対してフィルム上にどのくらいの濃度で感光するかを表した対数グラフ • カラーではRGB • モノクロでは一本のみ • ネガとポジでは傾きが逆転 • フィルムの基本的な性質 この曲線の傾きがガンマと呼ばれ、このフィルムのコントラストが分かる 肩 脚

  20. フィルムの特性グラフ • 分光感度曲線 • 波長における、各感色層の感度を表した対数グラフ • ある一定の濃度の時のグラフなので、実際にはこのグラフが濃度ごとにあるのが理想 • 一つの感色層は単純に一つの波長に反応するわけではない • 例えばシアンの感色層あかは赤だけに反応するわけではなく、緑や青にも多少反応する • つまり最終的には非常に強い光はすべて白くなることを示している • 色の鮮やかさや肌色のコントロールにわざとある程度オーバーラップさせている

  21. フィルムの特性グラフ • 分光濃度曲線 • フィルムを現像した状態で、それぞれの感色層が、ある波長においてどのくらいの色素を吸収するかを表したグラフ • ある特定の濃度(中性濃度1.0)になる吸収量を示している • またグラフによっては視覚中性濃度(波長に対して複数の感色層の濃度の視覚的な合計濃度)や最低濃度(全く感光していない場合での濃度)が含まれていることがある • ネガには元々各色の不要な感光特性を補正するための色素が入っている(オレンジマスク) • 特性曲線と対応している

  22. フィルムの特性グラフ • MTF曲線(Modulation Transfer Function) • ある空間周波数に対してのコントラストを示すグラフ • フィルム粒状度や乳化剤の光の拡散度などで決まる • レンズのMTF曲線と意味的には似たようなもの • フィルムのシャープネスを表す • ピクセル単位のトーンマップではうまく処理できない

  23. フィルムの特性グラフ • 拡散RMS粒状度曲線 • ある濃度におけるフィルムの粒状性を示すグラフ • グレインに影響する • RMS粒状度 = Sigma D×1000

  24. フィルムの特徴 • リバーサルフィルム(ポジフィルム) • そのまま見ることが出来るフィルム • ネガに比べてラチチュードが狭い • 露出にシビア • スチルでは露出に難しいシーンはAEB(Auto Exposure Bracket) を使って露出ミスを防いだりする • 印刷によく使っていた • 主にプロフェッショナル用途 • 映画館で投影するときのフィルム • ポジの写真をはる

  25. フィルムの特徴 • ネガフィルム • ポジに比べラチチュードが広い • ある程度露出に寛容 • プリント時での補正が容易 • ポジより扱いやすい • そのままだと色が反転している • プリントする必要がある • ポジ(リバーサル)へのデュープ • オレンジマスク • プリント時やポジへのデュープ時に除去される • ネガの写真を貼る

  26. CCD, CMOSの特徴 • デジタル的な特性 • デバイス的にはリニアな特性 • データとしてはソフトウェアに依存する • フィルム的なグレインではない • ノイズ • 暗電流 • 熱雑音 • アンプノイズ • フィルムに比べると低照度に強い

  27. CCD, CMOSの特徴 • 特性曲線がだいぶフィルムと異なる • ソフトウェアでこのような味付けをしている • カーブの変化がフィルム比べてなだらか • ハイライトのつぶれ方がソフトな感じになる • ローライトはフィルムのように潰れない あるデジタルカメラの特性(タングステン光環境下)

  28. フィルムを見るためには • リバーサルフィルム プロジェクタ(投影機)でスクリーンに上映 動画(映画)の場合 撮影(感光) 現像 スチルの場合 ライトボックスやプロジェクタで直接見る リバーサルプリントで紙上で見る フィルムスキャナでデジタル化するパターンもある

  29. フィルムを見るためには • ネガフィルム(スチル) 撮影(感光) 現像 ネガビューアーを使う(あまり利用しない) プリントして紙上で見る フィルムスキャナでデジタル化するパターンもある

  30. フィルムを見るためには • ネガフィルム(映画) • 古いスタイル 撮影(感光) 現像 オプティカル合成や編集を行ったり、フィルムを加工する インターミディエイトフィルムを作成 ここからはリバーサルフィルムになる マスターフィルム(プリントフィルム)を作成 上演用フィルムを作成 2次コピーを作る(映画館による)

  31. フィルムを見るためには • ネガフィルム(映画) • 最近のスタイル 撮影(感光) 現像 スキャナでデジタル化 デジタル処理(VFX, Composite, 編集, カラコレ) ここからはデジタルデータになる DI (Digital Intermediate) 上演用フィルムを作成 ここからはリバーサルフィルムになる 2次コピーを作る(映画館による)

  32. フィルムを見るためには • ネガフィルム(映画) • 最新のスタイル 撮影(感光) 現像 スキャナでデジタル化 デジタル処理(VFX, Composite, 編集, カラコレ) ここからはデジタルデータになる DI (Digital Intermediate) ディストリビューション(HDD) デジタルシネマで上演

  33. フィルムのトーンマップ • フィルムの特性を再現 • 特性曲線 • 分光感度曲線または分光濃度曲線 • 情報量に限りがある • ある程度の割り切りが必要 • ネガの場合はネガポジ処理が必要 • オレンジマスクの除去 • ネガポジ反転 • フィルムの色温度、感度に注意 • 感度は特性曲線から分かる

  34. フィルムのトーンマップ • さらにこだわるならフィルムをどう見ているかを意識 • デュープ処理 • ネガからポジ • ネガからネガ • ポジからポジ • 複数のトーンマップを経ることになる • 最終的に見ているもの • プリント • 印画紙の特性 • ポジをプロジェクター投影 • 光源の色温度 • 現像処理による違い • 増感、減感 • 現像液

  35. フィルムの特徴再現 • MTF曲線やRMS粒状度はトーンマップでは再現できない • MTF曲線はフィルタ処理 • フィルムのMTF曲線はレンズほど重要ではない • 粒状度はフィルムグレインの特徴になる • こだわるのであれば、実装するのもあり

  36. フィルムの特徴の違い • 違う2種類のフィルムの特性曲線を見ると、違いがあることがわかる F社リバーサルフィルムP K社リバーサルフィルムK

  37. トーンマップ例 Reinhard フィルムシミュレーション (明るさを近づけるためにPhotoshopで明るさ調整)

  38. トーンマップ例 F社リバーサルフィルム F社ネガフィルム

  39. トーンマップ例 K社リバーサルフィルム K社ネガフィルム

  40. トーンマップ例 K社リバーサルフィルム C社デジタルカメラ

  41. トーンマップ比較 Reinhard F社リバーサルフィルム F社ネガフィルム K社リバーサルフィルム K社ネガフィルム C社デジタルカメラ

  42. フィルムグレイン • フィルムグレインはデジタルノイズとは異なる • フィルムグレインは元々フィルムが持っている粒子の形が見えている • 一つの粒子が光に対して感光する • つまり感光することによって初めて粒子が見える • イメージとしてはレイトレースによるレイの分散パターンがフィルムグレイン • ポストエフェクトと処理する場合 • バックバッファがフィルムに入射する光を表している • 入射した光に対してグレインパターンで各粒子が反応する • 掛け算 • フィルムの種類や感度によって粒子の大きさや配列が異なる

  43. デジタルノイズ • デジタルノイズは電気的ノイズが追加される • 受光素子(CCD等)が持つ特性的なノイズ • 暗電流 • 熱雑音 • アンプが持つノイズ • アンプノイズ • 1CCDの場合ベイヤー配列がある程度影響を与える • ソフトウェアで補完されているので、そのままダイレクトには影響は与えない ベイヤー配列 受光素子が一つしかない場合は、一つの素子では明るさしか計測できないため、カラーフィルタを配置し、ソフトウェアで各ピクセルの色を補完する

  44. デジタルノイズ • 大きい要素としては熱雑音がアンプにより増幅されてノイズとして近くされる • アンプのゲイン = 感度 • 感度が大きいほどノイズが強くなる • 温度にノイズの量が依存する • 太陽を撮影する • 長時間露光 • など • 露光とノイズが対応しているわけではない • 真っ暗な状態でもノイズがある • フィルムグレインとは異なる • 足し算 • デジタルノイズパターンを感度に応じて足す • デジタルのトーンマップはソフトウェア処理と考えると • 素子でおきるノイズはトーンマップ前に行うべき

  45. フィルムグレイン例 デジタルノイズ フィルムグレイン

  46. フィルムグレイン例 デジタルノイズ(ISO100) デジタルノイズ(ISO800)

  47. フィルムグレイン例 フィルムグレイン(ISO100) フィルムグレイン(ISO400)

  48. 色温度 • フィルムには設計上の色温度がある • デイライトフィルム • 昼間の太陽光をターゲットにしたフィルム • 実際の太陽の色温度は季節や場所、時間で変化する • タングステンフィルム • スタジオ撮影用フィルム • スタジオでよく使われるタングステン光に合わせてある • 赤外フィルム • 赤外線での特殊撮影用フィルム • 赤外線では可視光域とはレンズでの屈折率が異なるため、ピント合わせも若干ずらす必要がある • など…

  49. 色温度 • デジタルカメラでは自由に変更できる • ホワイトバランス • オートで判断させることもできる • アーティスティックな判断ができない場合もあるので味気ない画像が得られる場合もある • AWB(Auto White balance Bracket) • AEBの色温度版 • 複数の色温度で自動撮影する

More Related