sie03848

SIE秋山氏が語るPS VR『シン・ゴジラ』スペシャルデモと『乃木坂46 VRホラーハウス』制作秘話

  • このエントリーをはてなブックマークに追加

by [2016年9月02日]

sg_psvr_01
sie03848

パシフィコ横浜にてゲーム開発者向けカンファレンス『CEDEC 2016』が開催された。その中でPlaystation VRの発売を10月13日に控えた株式会社ソニー・インタラクティブエンタテインメント(SIE)ソフトウェアビジネス部次長の秋山賢成氏(写真)は『PlayStation VR ノンゲームコンテンツの制作事例』と題した講演を行なった。VRのノンゲームコンテンツ「ほん怖プレゼンツ 乃木坂46 VRホラーハウス」「シン・ゴジラ スペシャルデモコンテンツ for PlayStation VR」を手がけた秋山氏が、その制作の際に気をつけたこと、苦労したことについて語る。

▼関連記事
重要なのは“実在感”SIE秋山氏が語るVR体験を向上させる秘訣とは?

ほん怖プレゼンツ 『乃木坂46 VRホラーハウス』

20160729-honkowa-01

フジテレビさん主催のイベントである「お台場みんなの夢大陸」の中で、『ほん怖プレゼンツ乃木坂46VRホラーハウス』を作らせて頂きました。これはドラマ「ほんとにあった怖い話」がPSVRを通して360°の臨場感あふれるスペシャルドラマとなったものです。

全天球ムービー

このコンテンツは全天球ムービーを使って作りました。今回はこれに加えて立体視にチャレンジしています。右目と左目に分けてエンコードして動画ファイルを作り、これをセパレートしてVRで映します。PSVRの視野角は約100°と広く、縦よりも横の情報維持が重要になり、横の広がりの解像度を活かすために左右ではなく上下分割にしました。

sie03862

PSVRのリフレッシュレートスペックは最大120Hzです。そのため、一般的なムービーのフレームレートはおよそ30~60fpsといわれていますが、VR関連処理としてコンテンツは120Hzで動作しています。なのでヘッドトラッキングなど、実際に動かしたときの体験速度も快適なものになっています。

バイノーラル

sie03867

PSVRでは上下左右、四方八方からの音で臨場感を与えることができる3Dオーディオを使うことができます。これには2つの方法があり、1つはモノラルの点音源データと座標情報と音量を組みわせる方法、もう1つはアンビソニックで録音されているデータを使う方法です。

sie03868

しかし、今回の撮影においては、想定していた3Dオーディオの集音ではなかったので、別の方法でチャレンジして実装しました。集音自体は台詞や効果音など別々にされていたので、各音声の発音タイミングや時間、方向などの指示書を頂いて1つ1つ3Dオーディオを配置していきました。ただしこれでは効率が悪いので、指示書をスクリプト化して自動で配置できるシステムを作りましたが、PC上の時間軸とPS4上の時間軸が合わないことがあるため、微妙に絵と音が合わないトラブルが多発しました。結局はムービー側にランタイム側の処理を合わせてレイテンシーを埋めることで解決しました。

sie03872

もう1つI/Oボトルネックの対処がありました。今回は絵と音が別々だったのでその読み込みの速度、効率などの問題が発生して、ムービーのビットレートがかなり高い状態でした。ただ、PS4はメモリが多いので事前に先行してロードし、ストリームのボトルネックをできるだけ減らすことで対処できました。また、音源は別々に録音されていますが、BGMに台詞が入ってしまっていました。できるだけ調整しましたが、結果的にホラーコンテンツらしいリバーブのような良い感じになりました(笑)。

『シン・ゴジラ』スペシャルデモコンテンツ for PlayStation VR

sg_psvr_01

続いて『シン・ゴジラ』スペシャルデモコンテンツ for PlayStation VRについてお話をさせて頂きます。

VR絵コンテ

VRはユーザーがどこを見るかわからないので映画と違ってカット割りができず、絵コンテを作ることが難しいため試行錯誤を繰り返しました。シン・ゴジラはゴジラ史上最大の大きさなのですが、迫力やボリューム感をいかにVRで表現するかを考え、駅のところをゴジラが歩き回って自分に向かってくるという下書きをしました。また、ユーザーが「見せるポイント」を見てくれるかわからなかったりと、VRは見方が自由なので、チームで空間がどう見えるかのイメージを共有しながら進めていきました。

sie03885

シン・ゴジラ最適化

快適なVR体験を得るためには最低60fps(処理時間としては16ms)のフレームレートを崩してはいけません。今回、超短期で最高級のフルCGアセットをリアルタイムレンダリング実装しなければならず、そこでUnreal Engine 4を採用しました。理由は、ソースコードが提供されているので我々でパフォーマンスの最適化やチューニングができること、かつCG業界の方にお手伝いして頂くのでCG業界の制作スタイルにあったいろいろな制作ツールが揃っていたからです。短期の作業だったので、シェーダやエフェクトなどもとても重要なのですが、これを試行錯誤できるエンジンがUnreal Engine 4でした。

最適化前の状態は処理時間が40msと、快適なフレームレートを全く達成できていない状態でした。これは映画のアセットのまま持ってきているので遠くにある物体も多くのポリゴン数があり、約650万ポリゴンをGPUに投入していたので最初のジオメトリ描画の部分だけで24msを超えているためでした。そこでポリゴン数を650万から340万に削減したところ10ms以上最適化をすることができました。ちょっとしたテクニックなのですがジオメトリが高い場合は「Early Z-pass」を無効にした方が有利になる可能性があります。

まだ16msには届かないので、次は見えている東京駅や瓦礫などのジオメトリの最適化を行った結果、少しだけ減りました。ジオメトリの削減はできたものの、解像度を上げたことでPostEffectが増えたため大幅な削減にはなりませんでした。

続いてPostEffectのSSRは、見た目にあまり変化がなかったためカットしました。さらにポリゴン数を約3分の1にまで最適化を行った結果、大幅に削減することができ16msを達成することができました。

ほかにもパーティクルのライティングもオーバーヘッドがかなり大きく削減することで、余ったパワーによって解像度の向上を行うことができました。4回目の最適化に関しては処理が増えましたが、フルピクセル100%だったものが140%のレンダリングをしても耐えられる状態となりました。

sie03913

最適化の結果


sie03914

ポリゴン数の変遷


sie03915

最適化前のポリゴン数


sie03916

最適化後のポリゴン数

今回のシン・ゴジラではこういうことができたのですが、最適なリダクションや、クオリティとパフォーマンスのバランスのとり方は各コンテンツで異なると思います。また、余談ですがUnreal Engine 4はVR中のパフォーマンス表示ができるので、HMDをかぶりながらどのくらい最適化されたか確認しながら開発ができるといったところも良かったです。ほかにはCPUやGPUの負荷が出てきたりフレームレートが出てきたりと、これを見ながら調整できます。

映像会社の実装

sie03935

シン・ゴジラVRを共同制作したSOLA DIGITAL ARTS INC.の八木下です。映像制作会社がVRムービーを作るにあたって苦労したところや注意したところをお話させて頂きます。

字コンテ
VRムービーを作るにあたり、通常の映像であればカット割りを作ることができますが、VRだとすべて主観になるのでそこを表現するのに苦労しました。そのため、やりたいことやシナリオからイベントに尺を入れた字コンテを作りました。

sie03941

VRムービーチェック
映像を作っていく上でクオリティを確認していくのに、通常の映像だと再生を止めたり巻き戻したりできますが、リアルタイムコンテンツではできないので、なかなかチェックするのが難しかったです。そのために、ある程度自分の意図しているカメラワークをつけて、「こういう順序で見せたい」というものをあらかじめDCC側(Maya)で仕込んでスクリーンキャプチャーを作って確認していました。

sie03943

アニメーションの指示
今回は絵コンテがなく、スタッフにどういう演技をするのかを明確に伝えなければいけなかったので、通常の映像制作とは違った形になりました。 例えば、冒頭の尻尾の演技は、自分ではイメージできていたのですが、なかなかそれがスタッフには伝わらなかったので、尻尾のアニメーションの指示を作りました。

sie03945

音響作業
アニメーション作業と並行して、音の発注をしなければいけなかったのでサウンド用に仮のムービーを作りました。「このタイミングでこういう音を鳴らしてください」という指示を入れて作ります。

音の配置では、秋山さんが苦労されていたのと同じようにこちらも苦労しました。ゴジラの迫力や距離感を出すために3D音響で鳴き声、足音などをつけたのですが、はっきり指向性が出すぎてゴジラに対して真横を向くと片側の耳からしか聞こえないということが起きてしまいました。あれだけのサイズのものだと周りに反響音があって、もっとサラウンドに聞こえてくるはずが、片耳からは聞こえずらく苦労しました。さらにUnreal Engine 4のオブジェクトの遮蔽や距離感で音の大きさを調整してくれる機能によって、ゴジラの足音が東京駅に遮蔽されてしまいました。また、距離が100m、200mあったのでボリュームを最大にしても迫力ある足音が鳴らせませんでした。そこでカメラ側でゴジラの位置に音をつけずに東京駅の手前にスピーカーを持ってきて、ゴジラの動きに同期させて音を鳴らしました。

DUALSHOCK
最適化などでアニメーションの部分が詰まってきたのですが、どうしても今ひとつ盛り上がりに欠けるところがありました。秋山プロデューサーから「ゴジラが迫ってきているのに地面が揺れないはずがない」という提案もあり、DUALSHOCKを足の振動に同期させました。

やってみてわかったこと、勉強になったこと
VRはどんなに大きいスクリーンで見る平面の映像よりも違う映像体験ができるので、非常に魅力的なコンテンツです。映像制作とは違う演出方法、制作フローなどが必要になると感じ、音の発注など、3D音響のような使い方があり、最後に音をもらってから音を配置しなおすということができたので、映像とは違う制作が可能になると思います。

▼参考リンク
ほん怖プレゼンツ『乃木坂46 VRホラーハウス』
『シン・ゴジラ』スペシャルデモコンテンツ for PlayStationVR
SOLA DIGITAL ARTS
PlayStation VR
CEDEC 2016

PageTopへ