gtc04190

医療ITの最前線がわかる『VR/ARがもたらす医療の可視化/可触化/意識変革』

  • このエントリーをはてなブックマークに追加

by [2016年10月17日]

 NVIDIAが主催する日本最大のGPUテクノロジーイベント『GTC Japan 2016』において、『VR/ARがもたらす医療の可視化/可触化/意識変革』が講演されました。本講演では、VR/ARを用いた技術や三次元でのオペ、そして医療従事者や患者の意識の変化など、医療ITの最前線が紹介されました。

gtc04190

スピーカー:杉本真樹氏 国際医療福祉大学大学院 医療福祉学研究科 准教授

VRは情報を活用した経験

平面の限界とVRの無限
Learning is experience.Everything else is just information.(学習は経験である。経験以外は情報に過ぎない)

 これはアインシュタインの名言です。みなさんが本やインターネットで学んだ知識はすべて情報です。その情報をいかに活用するか、有効に使うかが経験です。医療においては、患者さんのレントゲンを撮って診断をします。診断だけだと患者さんは治らないですよね。病気を治す治療・手術、こういったものに情報は活用すべきだと思います。
 例えば、情報をうまく活用しているものの1つにカーナビがあります。ただ地図を見るだけではカーナビとは言いません。自車の位置がわかったり、リアルタイムで情報を反映してくれるのが重要です。
 そしてもう1つこういう格言があります。

A picture is worth a thousand words.(1つの文字や言葉よりも絵のほうがはるかにものを伝える)

 平面のモニターを見るだけでは、奥行きや自分との関係性を把握するには限界があります。最近はCGも進化して、とてもリアルになりました。Virtual Reality(VR)という形で立体的な映像が人間の感覚を刺激することで、言葉以上のものを得られるようになったのはとてもよいことです。
 主にVRが活用されている部門は、建築とエンジニアリングでしょう。例えば、昔のコンピュータで設計図がないものもReverse engineeringといってここから設計図を起こして、新しい製品を改良したりできます。

gtc04206

 我々はこれを人体に応用しているわけです。例えば、CTスキャンを撮ると、本来描けなかった設計図なんかも簡単に入手できるわけです。この作業をCGデザイナーに頼むと料金や納期の問題などで大変です。でもCTスキャンを使えば撮影は30秒、画像を作るのも一瞬です。

三次元の経験
 しかし、どんなに素晴らしい技術でも広まらないと意味がありません。そこで無料のオープンソースで『OsiriX』というアプリケーションがあります。世界45カ国でダウンロードされ、25万人ものユーザがいて、おそらく世界で一番使われているDICOM Viewer※ではないでしょうか。私も世界で16人しかいないAmbassadorに任命していただき、無料でみんなで医療の画像を身近に使おうという活動をしています。※(ダイコム=Digital Imaging and COmmunication in Medicine。医療画像のフォーマットや通信プロトコルの標準規格)
 OsiriXは簡単に身体を三次元にできます。2003年くらいから、手術の際にレントゲンの横に置いて使われています。自分がどこにいるかがすぐ横にあるものでわかるのです。特に最近は腹腔鏡手術、患者さんのお腹の中にカメラを入れて手術をするので、内視鏡の映像にそっくりなものをバーチャルで再現すると、自分がどこに置かれているかがわかるわけです。

gtc04216

 さらにそのデータをモニターではなくて、患者さんのお腹の中にプロジェクターで映せば、本人のデータなので、ぴったり合います。特別な機材は不要で、位置合わせに赤外線や電磁波などを使って患者さんのお腹にそのデータを起こすだけです。現在はプロジェクションマッピングと言われるようになりましたが、昔はイメージオブアレイと言われていて、実際の手術では2006年くらいから活用されていました。教育的にも非常によいですし、患者さん個々のデータとして書き込むことができ、オーダーメイド医療の初歩的なものが簡単にできるわけです。
 CT画像を投影するのも皮膚の上だけではありません。腎臓ガンを例に挙げますと、腎臓の表面はツルツルで深いガンは外から見えません。しかし、ガンの位置を腎臓の表面にプロジェクターで映せば、どこまで切ったらガン、それ以上切ったらダメ、血管はここを残す、といったことが切る前にわかるわけです。
 CT画像は手術の前に撮るデータなので、手術中の状態とは少し違います。手術中にこのデータが撮れたらよいですよね。CT機械をオペ室に置いてあるところもあります。でも煩雑ですよね。そこで、リアルタイムでスキャンができる赤外線などのいろいろなセンサーがあります。お腹が開いた状態でセンサーでスキャンすると、手術中に引っ張ったり、歪ませたり、縫ったりした跡も、その場で三次元データが獲得でき、リアルタイムでポリゴン化ができるわけです。スライドの画像をよく見るとメッシュになっているので、データだとわかるんですけど、一瞬デジカメの表面の色の情報、まるで本物のその場の情報をコピーしているかのように感じるかもしれません。このデータと、手術の前のCTのデータを比較すれば、今どれだけ歪ませたとか、手術中どのくらい手術が進んだかということが理解できるわけです。これを実際の手術中との比較も行いながら進めていきます。
 手術中は、ベテランと若手で意見が割れることがあるんです。ベテランが口で教えようとしても若手が理解してくれない。情報だから。三次元的なこと、見るという経験、そこに答えがあるんです。こうすることで教育の効果も非常に良いし、スピードも早くなります。若手の研修医にも非常に有効な教育ツールになりました。

gtc04218
gtc04221

 国立科学博物館の「医は仁術」という特別展で、私を全身スキャンした等身大モデルと私の内臓データを飾りました。
 これこそ経験だと思うんです。情報をいかに経験に変えるかというキーポイントは、感覚を刺激することです。それがまさにVRなんです。つまり、3つの要素 三次元の空間性(Presence)、実時間の相互作用性(Interaction)、自己投射性(Autonomy)を満たすものを最近はVRと呼ぶようになりました。この3つを満たすのが、CT画像だけでは足りなかったので、これをポリゴン化するという技術が医療に貢献したわけです。

gtc04222

 例えば、ボリュームデータのまま表示するとレンダリングに時間がかかるし、グラフィックボードにも負担がかかるので、データをポリゴンに書き換えることで迅速化ができます。それをサイドバイサイドに表示をして、スマホで見るとVR空間にいるような感覚になるし、最近では(UnityやUnreal Engineなど)無料のゲームエンジンを使えるので、患者さん一人ひとりのカスタマイズしたVRアプリが作れるわけです。このドクターは患者さんの中に入っている感覚でオペ室にいます。つまりこのオペ室全体が患者さんの身体の中です。彼は歩き回りながら、患者さんの身体の中を旅するわけです。
 車の運転も同様で、地図だけ見ても、どこに何があるなんてわかりません。実際に車で走ってみてやっと覚えますよね。そうすると目をつぶっても頭の中に立体で再現できるようになるわけです。ドクターもVR体験したそのすぐあとに、手術をするわけです。同じ場所で繰り返す。しかも本物に近いので若手の教育にも活用できます。これは手術支援ロボット『ダ・ヴィンチ』を使った前立腺の手術ですが、骨盤の奥の方にある前立腺ガンを取り除くには非常に狭い空間で細長い器具を使う必要があります。だから自分の視点がその骨盤の奥にあるという感覚をあらかじめ知っておくだけで、かなり空間の認識が変わるわけです。実際にこれはHTCのViveを使って、手術中にリアルタイムでレンダリングをしながら見ています。
 後ろのほうに四角い棒が立っていますが、あれが赤外線を発して私の被っているヘッドマウントディスプレイの位置を検出してくれています。手に握っているコントローラーを使って我々のアプリは、「ここがガン」といった印をつけたり、歪ませたり、画像の角度を変えたりできます。オペ室にいるのに、患者さんの身体の中に自分がいるような感覚です。
 こういうものは医師である私1人ではできないので、エンジニアと手を組んで、何が必要かというのを考えながら作っています。最近、CT画像とVRのポリゴンを重ねて、どこで切るとCT画像が見えるのかというのをリアルタイムで表示するようなモードも作りました。

gtc04236

 角度を変えても当然CTの画像が絶えず重なるので、ポリゴン化データは欠損が出てきます、それを本来のCT画像と照らし合わせながら、隙間を埋めてくれるというものです。これをいくつか実際の臨床でやっているのですが、大きな意識変革が起きました。例えば患者さんとその家族がこの体験をすると「ガンが怖い」という壁を超えられるんです。患者さんの中には「こいつは俺が退治してやる」と思えたり、「俺のガンをちょっと見ろ」と家族に勧めたりする方もいます。ガンに抵抗がある患者さんは手術後もなかなか立ち上がりが悪かったり回復が遅いんです。でも、ガンのことをよく分かったうえで「よしやるぞ!」と思っている人は、回復も早いし退院も早いんです。そうなると病院や国にとってもプラスです。回転率があがりますし医療費も減っていきます。これは非常に重要なポイントです。これって今までになかった患者さんの意識を変える破壊的なイノベーションです。医療従事者にとっては「やるぞ」「わかるぞ」「自分たちで作ろう」という意識変革になったと思います。
 Deep LearningをLearning is experience.にあてはめるとDeep Learning is Deep experience.だと思います。我々がこの患者さんのデータをまとめて、それをタグ付けして、世界中の人と共有ができれば、素晴らしいビッグデータになるわけです。それを直感的にVRでみんなで共有することはすごい価値につながります。病気の予防にもなるし、抗がん剤での治療経過や、開業医が「こんな病気見たことない」というときに、我々がデータを提供することもできます。そんなサービスを提供する『HoloEyes Inc.』を友人の谷口さんと立ち上げました。

VRが人を変える
 私の友人は、5歳のときに車に轢かれ、右足を義足になりました。事故にあってからは、遠くに出かけられず、臆病になってしまったそうです。そこで、私は彼を山に誘いました。山に登ることで、自分の壁を超えるのではないかと思いました。岩を登るマジな山でしたが、このとき連れて行った医学生は彼を手助けしてくれました。ここで彼は気づいたんです。俺でもできる、でもひとりじゃできない。
 彼の右足は交通外傷だったので、筋肉と脂肪のつき方が普通の人と異なります。じっとしているときと、登るときに筋肉を入れたときのかたちが違うんです。だから走ったり、山に登ったりする義足には、本人の力を入れたときのデータが欲しいと言うです。そこで先ほどの3Dスキャンや赤外線スキャンを使って、彼の足と義足をリアルタイムでスキャンして、どこが当たるか、どこが凹んでいて膨らませたいというのをCAD上でデザインをして、データの適合化をしました。作業にはAutodeskの3D CAD/CAMのソフトを使っていて、データの加工も本人がやっています。彼はパソコンの素人ですが、一般人が自分でできる時代なんです。それには、ワークセッションが早かったり、グラフィックスの性能が良いことが必須です。将来的にこれをクラウドサービスでできたら素晴らしいですよね。

gtc04243

 VR空間で義足とか義手をデザインをすると、その人の「社会に向けて自分たちで行くぞ」という、自分の壁を超える意識変革につながると考えています。それで彼がどうなったか……今、走っています。ブレード状の義足を作って、義足や義手の人たちのランナーの団体を作って、率先して引っ張っています。
gtc04204

 この写真、カッコよすぎますよね?(笑) そこで、彼に本当に一番嬉しかったときの写真をリクエストしたのがこちらです。本気で娘と初めて走れたと同時に、娘もお父さんの本気を初めて見たと。CADやグラフィックスといったものが、この家族の幸せを築いてくれました。これは彼が純粋に楽しむためにやっているわけです。
gtc04201

 素晴らしい技術も楽しさがないと、なかなか広まらないし、これこそ命をReverse engineeringしているのではないでしょうか。AR/VRが、医療に大きな変革をもたらし、意識改革をももたらすと考えています。

▼参考リンク
GTC Japan 2016 – NVIDIA
OsiriX
3D CAD/CAM Software for Product Design | Fusion 360 – Autodesk

PageTopへ