「えいごーぐる」動作画面Unityちゃnが街中を歩いている。彼女の視線がこちらを向いていることに注意

Ocufes Final を見て歩く 【その3】PentaVR~えいごーぐる~MT4VR

  • このエントリーをはてなブックマークに追加

by [2016年3月02日]

「Ocufes Final を見て歩く」第3回は前回に引き続き「実用の道具」としてこのVRデバイスを利用することを目的としたアプリを出展していたブースを見てゆくことにしましょう。

VR空間で絵を描くという発想

「PentaVR」ブース仮想空間に自分だけのアトリエを持てるグラフィックアプリ

「PentaVR」ブース
仮想空間に自分だけのアトリエを持てるグラフィックアプリ

実用系の三番目はわっふるめーかーさんの「PentaVR」。

これはその名称からも推測できると思いますが、要するにペンタブレットで絵を描くという行為をVR空間内で行えるようにしよう、というものです。

これは元々はゲームや映像のコンセプトアートや背景画・書籍装画などを行っているイラストレーターである「よー清水」氏が今年1月にTwitterでつぶやいたアイデアが元になっているとのことで、ある意味絵を描くプロの願望ダダ漏れのアイデアを形にしてしまったものであると言えます。

「PentaVR」操作実演左側に立っている男性の手元にワコム製ペンタブレットがあり、右のモニター画面上にこれを模した仮想のペンタブレットが表示されている。このように、スタイラスペンを近づけるだけで各種操作を行える。

「PentaVR」操作実演
左側に立っている男性の手元にワコム製ペンタブレットがあり、右のモニター画面上にこれを模した仮想のペンタブレットが表示されている。このように、スタイラスペンを近づけるだけで各種操作を行える。

単純にペンタブレットを使用する場合、それなりに大画面のディスプレイと組み合わせて使用しないと結構思ったように絵が描けないことがあるのですが、想定される実画面サイズのキャンバスを仮想空間に用意して、その上で絵を描くというこの方式ならば、上手くすれば、特に絵を描くことについて専門の教育を受けた方だと、通常の使い方でペンタブレットを用いて絵を描くよりもこちらのやり方の方がイメージ通りの絵が描ける可能性があります。

また、本物の部屋だと絵を描く際に使用する資料やモデルとなる立体などを置いておくための場所を(机の上などで)確保するのは結構大変なのですが、VR空間内であればそれらがデータ化されていさえすればどこでも自由に配置して参照・観察したりすることができるという他に無いメリットがあります。

筆者も実際に操作を体験させていただいたのですが、ペンタブレット業界では最大手であるWacom製のペンタブレット付属のスタイラスペンを所定の位置に近づけるだけでメニューが表示されてペン先の色選択を行えたり、色を自由にカスタマイズできたり、なかなか面白いインターフェイスになっています。

ただ、現状ではこのペンタブレットによる入力操作系の挙動やディスプレイとの距離感にやや慣れを要するところがあって、またその操作体系には独特のスタイラスペンを用いているため、意図通りに操作できるようにするにはそれなりの訓練が必要(※注)な状態です。

 ※注:これは、タブレットの上にOculus Rift用のカメラを固定してあって、それとOculus Rift本体の距離関係によってタブレット機能のユーザーインターフェイスを動作させる仕組みとなっていることが一因です。

ちなみに、取材時点ではあくまで平面の絵を「描く」道具として構成されていましたが。開発者であるわっふるめーかーさんにお尋ねしたところ、このシステムを発展させることで3Dモデリングに発展させることも視野に入っているようです。

もっとも、一見良いことずくめのこの方式にも難点があります。

それは現状のOculus Riftの画面解像度がそうした絵を描く環境を再現するのに十分なほどの画素数を実現していないため、ある程度以上の解像度の絵では精度の高い描画を行うのが難しいことです。

こればかりはOculus Riftの開発元であるOculusのがんばり次第というか、各ハードウェア・各部品メーカーの協力によるディスプレイ部の解像度向上が必要で、アプリ開発側でできる対応策は決して多くないと思うのですが、あるいはこうした実用コンテンツの増加がディスプレイ解像度向上を後押しすることになるかも知れません。

子供にどうやって英語を学ばせるか

「えいごーぐる」ブース筆者が訪れた際には教育関係者とおぼしき女性がやのせん氏に熱心に質問していた

「えいごーぐる」ブース
筆者が訪れた際には教育関係者とおぼしき女性がやのせん氏に熱心に質問していた

実用系4番目はやのせんさんのこども用英語学習アプリ「えいごーぐる」です。

語学学習用アプリというのはそれこそ孫正義氏が考案した音声付き電子翻訳機の昔から一定以上の需要が根強くあり続ける分野なのですが、それだけにどこも死力を尽くしてアイデアを練り続けており、生半な考えでは成功はおぼつかない分野でもあります。

特にこども用はアニメキャラクターなどを使用したものがあったり、どこかの大学の偉い先生の監修があったり、とお子さんやお母さんの関心を引くためにあの手この手で工夫が凝らされているのですが、この「えいごーぐる」はひと味違う切り口での工夫がなされています。

人間の子供は乳児の頃から他者、例えば両親などが近くにいる時にその人物に見て欲しい(態度を共有してほしい)対象を指さす、大人がある対象物を見る時にその視線を追って自分もその対象物を見る、あるいは何らかの対象に対する大人の反応を見てそれを参考にする、など近くにいる大人の行動から強くフィードバックされる形で、言語や社会性などを大人と共有し学んでゆくのですが、これを共同注意と呼びます。

「えいごーぐる」は、VRデバイスを用いて仮想空間内における自分以外の登場人物の視線とその発言を紐付けることによって、「共同注意」により知らない単語などを学ぶようになっているのです。

「えいごーぐる」動作画面Unityちゃんが街中を歩いている。彼女の視線がこちらを向いていることに注意

「えいごーぐる」動作画面
Unityちゃんが街中を歩いている。彼女の視線がこちらを向いていることに注意

登場するキャラクターの視線がどちらを向いていて何を指しているのか、というのは液晶ディスプレイなどで単純に映像を出力しても分かりづらいことがあるのですが、この「えいごーぐる」ではそれをスマートフォンを中核とするVRデバイスを利用し、さらに3Dオーディオを上手く組み合わせることで、静止画を基本とする画面表示にもかかわらず従来よりもわかりやすい形で実現しています。

このあたりの幼児向け語学学習アプリを果たしてこのようなVRデバイス対応として提供して、それを利用する幼児の視力などの悪影響をあたえやしないだろうかなどと要らん心配をしてしまう筆者ですが、これは毎日時間を限って反復的に継続するのであれば、相応に大きな効果が得られるのでしょう。

まぁ、この辺の学習系アプリはどれがどのように効果を発揮したのかを定量的に評価するのが難しいのですが、そうした評価はとりあえず置いておくとしても、こうしたアプリが当たり前のように展示される様になってきたこと自体が、VRデバイスの普及と一般化が進みつつある何よりの証拠となるのでしょう。

1枚の静止画からでも「動く」背景を作れる

SHINTA VR のブース「MT4VR(Motion Texture for VR」の機能や特徴がどのようなものかを示す展示が行われていた。

SHINTA VR のブース
「MT4VR(Motion Texture for VR」の機能や特徴がどのようなものかを示す展示が行われていた。

実用系最後は株式会社SHINTA VRさんの「MT4VR(Motion Texture for VR」です。

これは厳密には、VRコンテンツの「動く」背景を簡単に生成するためのアプリで、分かりやすく言えば2枚以上の画像(※注)で共通点を指定して、その位置のずれなどからモーフィング動画テクスチャデータを生成する仕組みになっています。

…とここまで書くと「それってパソコン用のモーフィングソフトと何が違うの?」という疑念を持たれた方もおられるかも知れません。

MT4VR EditorMT4VRによるリアルタイムモーフィング動画テクスチャ作成で中心的役割を果たすエディットツール。ご覧の通り差分生成を行うための素材データは多数指定可能で、単に2枚だけの間での変化を生成するだけの場合よりも格段に効率よくデータを作成できる

MT4VR Editor
MT4VRによるリアルタイムモーフィング動画テクスチャ作成で中心的役割を果たすエディットツール。ご覧の通り差分生成を行うための素材データは多数指定可能で、単に2枚だけの間での変化を生成するだけの場合よりも格段に効率よくデータを作成できる

一般的なモーフィングソフトの場合、画像を2枚用意し、それぞれの画像で対応する特徴点と呼ばれる変化の基準点となるポイントを指定し、2枚の画像の間でその位置の移動やそれぞれの画像での特徴点の色の変化などを演算して2枚の画像の間に適宜指定された枚数の徐々に変化してゆく画像を生成、それらをパックして1つのムービーファイルとするという工程を経てAVIなりGIFなりの動画データを作り出します。

しかし、これによって生成できるのは一般にただの動画データで、それはそのまま直接の形ではVR環境下で利用できません。

こうした静止画が1枚素材としてあれば、それをモーフィングしてダイナミックな動きを見せる動画テクスチャデータとして利用できるわけである

こうした静止画が1枚素材としてあれば、それをモーフィングしてダイナミックな動きを見せる動画テクスチャデータとして利用できるわけである

「MT4VR」はそのあたりにメスを入れたアプリといえ、根本的に行っていることはまさにモーフィングソフトそのものなのですが、素材画像と特徴点の指定データさえあれば、ポリゴンによる3Dモデルで利用可能な動画テクスチャとして汎用可能なテクスチャデータを、それもリアルタイムで生成できる点に大きな特徴があります。

これはつまり、既存の絵画や写真などの静止画像データが1枚あれば何でも、特徴点の指定次第で必要に応じて適宜滑らかかつ複雑な動きを行う動画テクスチャにできてしまうということで、工夫次第でいくらでも便利に使えるでしょう。

通常、VR仮想空間で動きのある何かを表示したい場合は全て3Dグラフィックで行ってしまいがちなのですが、この「MT4VR」を使えば例えば背景の川に流れる水の動きなどをポリゴンに貼り付ける動画テクスチャデータとして処理し、3Dグラフィック表示によるGPUの負担を軽減できるわけです。

ちなみに、この動画テクスチャデータの元になる素材画像は1枚で済ませることもできますが、複数枚を組み合わせれば複雑な動きを再現することも可能です。画像2枚の間の変化をただループさせるだけでは違和感がある動きでも、それが複数枚の間での変化の組み合わせとなると一定の周期性はあるもののこれまでにない複雑な動きとなって現れることになります。

まさに、こうした2枚以上の静止画からのモーフィング動画生成を、それも意外と低負荷のリアルタイム処理で実現してしまえる点こそがこの「MT4VR」のミソで、筆者個人としては動画テクスチャではなくただのAVIやWMV、あるいはMP4といった形での動画データ、さもなくばぱらぱらマンガのようにわずかずつ異なる静止画像を出力するだけのもので良いので、この「MT4VR」のように複数枚の画像の間で起きる変化を循環ループさせられるようなWindows版モーフィングソフトが欲しいなぁ、と思った事でありました。

なお、さすがにMT4VR Editorによるデータ生成手順の説明だけでは理解しにくいことをSHINTA VRさんは理解しておられたようで、「ふしぎのもり」と銘打たれたVRコンテンツが展示されていました。

MT4VRのメリットを体感できるようにするツールとして提供されたVRコンテンツ。ご覧の通り室内に架けられた絵画類をいじって操作することで、MT4VRの機能や特徴を理解しやすくする

MT4VRのメリットを体感できるようにするツールとして提供されたVRコンテンツ。ご覧の通り室内に架けられた絵画類をいじって操作することで、MT4VRの機能や特徴を理解しやすくする

これは室内にある絵画などをリアルタイムに、そして自由に変化させるというもので、筆者が見た際にはウジェーヌ・ドラクロワの「民衆を導く自由の女」やエドヴァルド・ムンクの「叫び」など結構有名どころの絵画を操作可能でした。

正直、何というか名画を自由に変化させられるということは畏れ多い気もするのですが、これほどインパクトがあってわかりやすい展示デモもないでしょう。

以下、次回に続きます。

▼参考リンク
ペンタVRの実装方式について | わっふるぷれーと
よー 清水氏によるPentaVRとして実現する仮想アトリエ(?)の最初のつぶやき
よー 清水氏によるPentaVRとして実現する仮想アトリエ(?)の2つめのつぶやき
やのせん氏による「えいごーぐる」紹介動画
SHINTA VR
Oculus Festival in Japan | into VR

PageTopへ