リアルタイムCG+バーチャルプロダクションの制作手法を検証
バーチャルプロダクションというジャンルは多種多様な技術の集合だ。特に大型LEDスクリーンを使ったインカメラVFXにおいてはLEDパネルの知識、システムプログラミング、CG制作、従来の撮影技術と全てにおいて専門的に深い知識が必要になり、それらが撮影の現場に集約されるという特殊なジャンルである。
今回はLEDパネルのレンタル・販売などを行っている
と映像システムのソリューション開発に長けた
が共同で実験の場を作り、そこにリアルタイムコンポジット+レンダリングのツール
と360°映像と空撮に強い
が最近力を入れているというフォトグラメトリのアセットを提供してテストが行われるということでお邪魔させてもらった。
3種類の異なるピッチのLEDを検証
ブリッジリンクの倉庫に組まれたLEDは、右が2.58mmピッチ（以下2.5）、左に1.58mmピッチ（以下1.5）でそれぞれ約4m×3mで少しの隙間を空けて組まれていた。そして参考用に小さく1.2mmピッチの高精細LEDも置かれていた。
3種類のセンサーサイズのカメラ、2種類のトラッキングを検証
今回のテストで興味深かったのは、LEDも数種類置かれ、カメラもPXW-FS7（スーパー35mm）、FX3（35mmフルサイズ）、X70（1インチ）というセンサーサイズの違うカメラが用意してあり、カメラトラッキングもHTCのVIVE Trackerと、インテルのRealSenseトラッキングカメラT265の2種類が試せた。
LEDに映し出す素材もデジタルアセットのライブラリー「Megascans」から作られた3DCGのものと、フォトグラメトリで作られたもの、それを管理するプラットフォームもSMODEとUnreal Engine 4と多種多様な組み合わせが試せる、有意義な催しになった。
1.5mmピッチと2.5mmピッチは一長一短
まずは大きく目につくLEDの検証結果から。ピッチが1.5mmと2.5mmでは、遠目に見るとあまり差は感じられないが、カメラのセンサーを通して見ると2.5mmの方が確かにモアレは出やすい。1.5mmに関してはスクリーン面にフォーカスを合わせても特定の画角以外はモアレが出ない高精細を誇っていた。
ただ、1.5mmの表面加工は反射率が高く正面からの照明に対してはテカリが出て使いづらかった。その点、2.5mmはマットで正面からライトを焚いてもそれの反射が目立つということは無かった。
LEDに関してはピッチが細かいことに越したことはないが、画素が多くなるとその分送出する映像の解像度も必要になってくる。同じ4Kプロセッサーを用意しても1.5mmの場合は5.76m×3.24mだが、2.5mmなら9.8m×5.4mをカバーできる。2.5mmの方が明るく光量を落とすことで1.5mmとのバランスをとっていた。それでもND 0.3を入れていたほどなので、インカメラVFXにおいてはLEDの明るさはそれほど必要としなさそうだ。周りに配置される環境光用のLEDは明るい方がバランスがとりやすいだろう。
今回は使用しなかったが、検証ステージの向かいに建てられていた1.9mmのパネルは反射もなく、解像度とスクリーンの大きさなどを鑑みるとベストバランスだったのかもしれない。1.2mmは大画面スクリーンを設営するにはコストがかかりすぎて、被写体とスクリーンが近接するなら有効かもしれないが、そのケース以外はオーバースペックのように感じた。
カメラはラージセンサー+GenLockが理想
カメラに関して言うと1インチセンサーのX70は明らかにモアレが出やすく、やはりスモールセンサーとLEDスクリーンの相性が悪いことが再確認され予選落ち。それを考えるとラージセンサーのFX3の方が良いように感じるが、FS7でもモアレが気になることは少なかった。今回はf4.0の絞りで通していたので、もっと明るいレンズを使うことでより良い結果が得られそうだ。
ただ、FX3やFX6のようなGenLockの付いていないカメラはフリッカーの問題が付きまとう。今回はプロセッサーの周波数とカメラのシャッタースピードを調整することでフリッカーが出ないところを探れたが、LEDの光量調整などの要素が入ってくると明滅間隔で光量をコントロールするLEDが多く、よりタイミングにシビアになる場合がある。また、外部からビデオ映像を入力し、UEの3D空間に貼りつけていた映像を使う場合などは、GenLockが必須となる。やはりGenLockを装備したカメラを使うのが理想だろう。
RealSenseを使ったカメラトラッキングは価格と使い勝手は優秀だが課題あり
カメラトラッキングに関してはstYpeのRedSpyやMo-SysのStarTrackerを使うのが定番だが、システムコストやマーカー設置工数もかかることから、ここではVIVE TrackerとRealSense T265が使用されていた。
VIVEはベーステーションを4つの構成でスクリーン幅と同じ4m四方に配置された。当初は絶えず微振動があるような感じがあったのだが、UE上のブループリントの設定にミスがあることがわかり、その後は安定した動作を実現していた。HTCの推奨では4台のベースステーションなら10m四方まではカバーできるとの事だ。
そして、もう一つのRealSense T265。2つの魚眼カメラとジャイロ・加速度センサーを内蔵し、その情報から位置や向きを判断してPCに伝送するハードウェアで、マーカーもいらなければベースステーションとの連携もなく、たった55gの10cmほどのバーだけでトラッキングを可能にしてしまう優れものである。
ビジュアル・グラフィックスではJetson（NVIDIAの組み込みシングルボードコンピュータ）を使用して汎用性のあるデータに出力することでUE4と連携をとっていた。やはりカメラ映像から位置を判断するだけあってトラッキング精度はかなりのものだが、T265を向けている方向に動いている人や映像などがあると誤動作しやすいし、一面の青空やホリゾント、グリーンバックなどに向けている時も追尾する情報が少ないのでトラッキングの精度は下がる。しかし、価格と使い勝手の良さは群を抜いており、決定的な欠点もまだ見つけ出せていないので、これからもっと追及していきたいアイテムだった。
そして、ビジュアル・グラフィックスでは独自に簡易的なロータリーエンコーダーをレンズに付けることでズーム情報を得て、スクリーンに反映させていた。アイリスは手入力で対応できるとしてもズームとフォーカスに関してはロータリーエンコーダーを付けるかレンズに付けられたサーボから情報を取り出すことになる。それが出来てやっとRedSpyやStarTrackerと同じ土俵で評価されることになるだろう。
フォトグラメトリとインカメラVFXの組み合わせを検証
もうひとつ楽しみだったのはジュエ制作によるフォトグラメトリのアセットである。花やしき外観と浅草浅草寺の市川團十郎像周辺の二つを見せてもらった。200枚以上のスチル画像から作られた3Dイメージは花やしきに貼られているポスターの入場料金まで判別出来る精巧さだ。リアルな3Dモデルを作るのは大変時間のかかる作業で、それを数百枚とはいえ短時間の収録時間で素材を撮り、その写真をPCの処理に任せてモデルが出来上がるのはフォトリアルなモデルを必要とするインカメラVFXにとっては要注目な技術だ。
浅草浅草寺の市川團十郎像のフォトグラメトリでインカメラVFXを検証
ただ、そんなフォトグラメトリも課題がいくつかあり、撮影時の明かりをそのまま活かすのであればリアルさは損なわれないが、汎用性があるフラットなオブジェクトを作ろうとなるとフラットな曇りの照明下で後でコントラストをやわらげたりしなければならない。樹木などの動いてしまうもの、透明なものもフォトグラメトリの天敵だ。それでも花やしきの入り口付近のディテールは均一なテクスチャでも細部まで作り込まれたディテールによってかなりリアリティある情景になっていた。
ジュエではドローン撮影できるという強みもあることから、今後は上空からも撮影することによって、建物まるまる一棟をフォトグラメトリで作り上げるということも可能なので期待も膨らむ。
他にもQuixel社のMegascansの素材から作ったアセットもCGアーティストの小林淳夫氏に作ってもらって用意した。MegascansはUnreal Engineのユーザーなら無料で使えるオブジェクトやテクスチャーであるにもかかわらず、実物をスキャンして精巧にテクスチャーも作られている。短時間でフォトリアルなモデルを作るならMegascansから配置していく方法が近道だ。
今回は照明も微力だと聞いていたのでLEDからの照明を最大限に使える人物がシルエットでも成立する情景を用意してもらった。このシチュエーションに関しては水の表現、風の表現などが画面が大きくなることによって、どこまで作り込まなければいけないのか？という指標を得るために用意したアセットだが、大画面LEDとなると同じ4KやHDで通常のモニターで見る以上に緻密さは必要になってくるという印象を受けた。
XR技術の制御にSMODEを検証
そしてSMODEを体験できたのも良かった。Disguise、Rialityとよく比較されることが多いSMODEは、その中ではソフトウェアだけでも使用することができる敷居の低いアプリケーションだ。
こちらもフォトグラメトリで作られたヨーロピアンな部屋の中のアセットだったが、VIVE Trackerを使用してカメラの動きに忠実に、そしてLEDのカバーできない部分までも撮った映像の上に重ねて出力出来たりするところは9フレームというレイテンシーをオフセットすることで解決している。詳しくはインタビューなども掲載する次回に期待したい。自分もデモ版を入手してしまったくらいだ。
フォトグラメトリ＋1.5mmLEDでを使った実証実験の様子
※画像をクリックして拡大
今回の実験を主催したブリッジリンクの乃一勝憲氏は「実用的でリーズナブルなバーチャルプロダクションのサービスを提供することをゴールとして、その思いに賛同してくれる様々な会社と協力して実験を行いました。今回の知見をベースにブラッシュアップし、お客様にお見せする機会を作りたいと思います」と語ってくれた。今後の展開に期待したい。
◀︎
[Virtual Production Field Guide] Vol.13(近日公開)▶︎
