facebook

360°ハイパーラプス動画が可能に! Facebookが360°動画の新しい安定化アルゴリズムを開発中

  • このエントリーをはてなブックマークに追加

by [2016年9月06日]

Facebookが360°動画の新しい安定化アルゴリズムを発表しました。今まで普通の動画の安定化技術は多くありましたが、360°動画でも安定化した滑らかな動画を視聴できるようになりそうです。

facebook

ハイパーラプス動画

いきなりですが皆さん、ハイパーラプスというものをご存知ですか? 似たようなものにタイムラプスというものがあります。タイムラプスとは、一定間隔で撮影した画像をつなぎ合わせて動画にしたもので、TV番組などでも取り上げられることもあるので見たことのある方も多いのではないでしょうか。それに対しハイパーラプスは動画を倍速表示したものになっています。

タイムラプスはカメラが固定されていてブレることがないので動きが滑らかな動画を作ることができますが、ハイパーラプスは動画を高速再生するだけではブレが多いためにどうしてもカクカクしてしまうので動きを滑らかにするために安定化というものが必要になります。安定化技術はすでにいくつかありますが、ほとんどはスマートフォンのような狭い視野での撮影に向けて設計されているので、360°動画には向いていませんでした。

新たに開発されたFacebookの安定化アルゴリズムでは、「変形回転」動きモデルと、3D-2Dハイブリッド技術を使用することで、360°動画に適したハイパーラプスを作成できるようになります。さらにこの新しい安定化アルゴリズムは、安定化の高速化にもつながるようです。また、最終的にはFacebookとOculusプラットフォーム上で誰でも使うことができるようになるとのことです。

ハイブリッド3D-2D安定化アーキテクチャ


今までの多くの安定化アルゴリズムでは遠近法ワープのような簡単な2D動きモデルを使用しています。これは高速でロバストな方法ですが、モーションモデルが単純すぎて複雑な動きを処理できません。また別のカテゴリでは3Dで操作しており、カメラの軌跡とシーンの幾何モデルを再構築し、3Dの視点から動画の安定化をしていました。正確なモデルを使用するので十分な滑らかさになりますが、処理が遅く、2Dよりもロバスト性が低いという問題があります。

新しく開発されたハイブリッド3D-2D技術では、正確なモデルを使用することで十分な滑らかさを表現できる3Dアルゴリズムと、高速で高いロバスト性を持つ2Dアルゴリズム両方の利点を活かすことができます。

簡単な2D動きモデルではなく、わずかな局所的な変形を可能にする「変形回転」モデルを新たに作成し、このモデルのパラメーターを最適化することでローリングシャッター、レンズの変形、スティッチング、歩行中にカメラが上下にブレてしまうといった様々な影響を最小限に抑えることができます。また、3D解析はキーフレームでのみ行います。このため処理も高速になり、3D再構築を行うのでカメラの回転運動か並進運動かを区別することが可能になります。これらを組み合わせることで、精度、ロバスト性、正則化、高速化という点で純粋な2D・3Dアルゴリズムのみを使用した場合よりも良い結果を得ることができたようです。

最近ではVRコンテンツや360°動画コンテンツが多くなってきてます。将来的にはFacebookとOculusプラットフォームで使用できることになるとのことなので、この技術から新しいコンテンツの流行が生まれるかもしれません。

▼参考リンク
360 video stabilization

PageTopへ