☆本稿はVRメディア「PANORA」に寄稿したレポートの再掲です。 「ミクさんマジ天使」、といって机の上で肘をついてため息をついているあなた。そのミクさんがその机に光臨する日が早くもやってきたようです。 しかもコンピュータやメガネなどの装着物なしで！ 2015年11月2～5日に神戸国際展示場・展示場で開催されたコンピュータグラフィック(CG)とインタラクティブ技術の国際会議「SIGGRAPH ASIA 2015 Kobe」よりご報告です。 SIGGRAPHはCG業界、特にコンピュータ・アニメーション・フェスティバル(CAF)を中心に「映画・映像業界の国際会議」という印象を持っている人も多いかもしれないけれど、実は43年のCGの歴史において、半分以上はリアルタイムグラフィックス技術とインタラクティブ技術、そしてVR技術における世界の頂点でもあります。 とくに映像作品や論文発表ではなく、「行って見る、体験する必要があるプログラム」が「Emerging Technologies (E-Tech)」という先進技術を紹介する技術デモゾーンで、こちらは会議登録パスの中でも数万円するベーシックカンファレンス以上でなければアクセスできないゾーンだったので、会場に行ったけれどもあったっけ？という人も多いかもしれないですね。 SIGGRAPH Asia 2015 - Emerging Technologies Trailer https://www.youtube.com/watch?v=Q6vjfnH9RDU 非常に刺激的な展示がそろう、そのE-Techにおいて、プログラム委員会によるベストデモ賞を受賞したプロジェクトが「FVisiOn: Interactive Glasses-Free Tabletop 3D Images Floated By Conical Screen And Modular Projector Arrays」です。直訳すると”FVisiOn”は「円錐スクリーンと部品化プロジェクター列による、浮遊するインタラクティブなメガネなし卓上3D画像」となります（以下、開発者であるNICT ユニバーサルコミュニケーション研究所の表記に従い「fVisiOn」と表記します）。

まずミクさんに、一曲歌っていただきましょう。

https://www.youtube.com/watch?v=u1E_LgLaiRE 実物は大変撮影しづらいこともあり、まずは公式HPにある動画から紹介します。思いっきり音が出ますので、以下、上記動画からのスクリーンショットでも解説します。 何故か、カラオケ風味で始まる動画。NICTって情報通信研究機構(NICT)っていう国の研究所なんですけど、こんなにポップで大丈夫なんでしょうか。へんな心配をしてしまいます。 曲はniconicoに投稿されたちょむPのボーカロイド曲「教えて!!魔法のLyric」がオリジナル。「踊ってみた」でも人気の曲で、3DCGソフト「MikuMikuDance」向けにモーションデータが配布されています。 いわゆるステレオ2眼立体視では「奥行き・飛び出し」しか表現しませんよね。 奥行き感だけでなく、「テーブルに浮かぶ360度から観察できる」立体ミクさんが実現できる。 本当に、360度どの位置から見ても正しいミクさんが見えます。 めがねなし立体ディスプレイを見たことがある人もいるかもしれませんが、普通は自分の視聴位置によって像がフニフニ動いてしまったりするものなのです。 もちろんこの状態で観る側には何の装備もしていません。メガネ不要です。 ぼやけてはいますが、逆にデジタルというよりは神秘的な妖精ぽく感じるかも。 実物の小物がありますが、その前後にあるものとも破綻がないのです。 そして研究のスタートとなるコンセプトがすばらしいです。 普通のテーブルとして使える、物が置けること。確かにそれは重要ですね。 立体ディスプレイですから、必ずしも壁掛けなどの平面にある必要はないですよね。 fVisiOnのコンセプトをまとめると、 1. テーブルの上は自由に使える 2. みんながそれぞれの視点で見える 3. みんなで自然に使える …という特徴を持ったテーブル形の3Dディスプレイであることがわかります。 特殊なメガネやHMDを使わずに自然に使えるこ、しかもテーブルとして座ると、みんなそれぞれの視点で見たいと思いますよね。そうなると、さまざまな視点の映像を同時に生成する必要があります。 あれ？よく見てください、この画像は鏡に映っている像です。CGで生成された鏡ではなく、卓上に置かれた実物の鏡に反射してミクさんの背面が見えています。 この「実際にそこに物があったらどう見えるか？を計算」することを「光線空間(light field)」といい、その光を再現する方式のディスプレイをライト・フィールド・ディスプレイ(LFD: Light Field Display)と呼び、世界中で盛んに研究が行われています。 例えば、GPUで有名なNVidiaは近年、メガネのように使う近接LFDを発表しており、ここ数年のSIGGRAPH E-Techでも発表されています。 https://www.youtube.com/watch?v=8hLzESOf8SE 眼球は回転はしますがメガネとの相対位置は動きませんので、大変高品質な映像を知覚することができます。しかし、煩雑ですし、体験者の人数分だけメガネを着用する必要があります。 メガネなしLFDが実現すれば、現在の主力のVRデバイスであるHMDは非常に限定されたディスプレイとして過去のものになるでしょう。メガネなしLFDの研究は日本人の研究者が多く貢献しており、2003年に元・東工大で白井の講義を受講しており、現在USC（南カリフォルニア代）の長野光希さんはSIGGRAPH 2013において「An Autostereoscopic Projector Array Optimized for 3D Facial Display」として、極小プロジェクタを大量に並べて光線空間を再現するディスプレイを発表しています。 https://www.youtube.com/watch?v=PjP4SvHjkdo USC Graphics Labの最新研究成果では200台以上のプロジェクターを使い、等身大サイズの人間を背面投影するデモも行っております。こちらは夏のロサンゼルスで開催されたSIGGRAPH 2015 E-Techでのデモや10月のお台場で開催されたデジタルコンテンツエキスポでも紹介されておりましたのでご存知の方も多いかも？ https://www.youtube.com/watch?time_continue=21&v=h-KIRObW6OU さて、SIGGRAPH Asia 2015で展示された最新のfVisiOnについて、研究者である吉田さんにお会いできましたのでさらに詳しくお話を伺いました。 吉田さん、ブレててごめんなさい。早速ですが、気になる中身を見せていただきました。 すり鉢状の中央部にミクさんが映っています。ICカードを置くとミクさんが歌って踊ってくれるのですが、そのためのカードリーダーが設置されていますが、これはさまざまなセンサーデバイスに交換することを考えているそうです。

ってなんじゃこりゃあ！！

なんだか、未来都市みたいです。 円周状に並んでる部分が1個1個のプロジェクターモジュールだそうで、全周実装時は最大300個を超えるそうです。このプロジェクターモジュールから中央の塔の様な、すり鉢上のスクリーンにテーブル上の物体表面の光線を再現する映像を投影しています。 露出を変えて撮影した様子です。すり鉢は特注の樹脂ですが、初期型は釣り糸を巻いて作ったそうです。すごい職人技と根性が必要な作業と想像します。 [caption id=”” align=”alignnone” width=”600”] fVisiOnにおけるテーブル上の物体の光線の再現原理(NICTより)[/caption] 人が「物が立体的にそこにある」と理解する要因の一つは、この表面から様々な方向に光線が出ているという現象です。fVisiOnは、テーブルの下に円状に並べた大量のプロジェクターと円錐型の光学素子（背面投影式の特殊なスクリーン）を使い、この机の上に物がある光の状態を、テーブルの円周方向に再現する原理となっています（上図参照）。例えば、Pの位置のプロジェクターは、E_aやE_bといった複数の異なる視点位置に届く光線を同時に再生しています。一般的なCGでは、視点側（例えばE_aやE_b）から見た映像を計算するため、fVisiOnで必要とする計算は、標準的な手法で簡単に作成することはできなかったそうです。 そこで、再生したい3D形状の表面が放つはずの様々な光線を、幾何学的に一つ一つ計算する専用のソフトウェアを開発しましたが、大量の光線計算に長い時間がかかる上に、元データ（コンテンツ）の制作にも専門的な光線幾何学の知識が必要でした（通常はリアルタイム用のレンダリング手法もしくは特殊なshaderを開発します）。 今回のSIGGRAPH Asiaで公開されたこのデモ映像は、事前に計算生成された画像ではありません。2台のPCからUnityをつかってリアルタイム生成された映像なのだそうです。 ちょうど、ゲーム的な応用をデモするためのUnityプロジェクトを開いているところです。fVisiOn向けの特殊なレンダリングをするためのshaderを開発されたとのこと。 キャラの向きにあわせてカードを使用するといったインタラクションが実演されておりました。さらに鏡を立てると、キャラクターの側面もちゃんと鏡にうつります。   鏡に反射した反対側のキャラクターもそれぞれ破綻なく見えることが興味深いです。カードゲームのデッキを隠すついたてなどにも応用できるのかもしれないですね。 カードリーダー部にに初音ミクカードを置くと、ミクさんが歌って踊りだします。 他のデモで展示されていたゲームはこのような円卓を取り囲んで遊ぶものでした。ちゃんとキャラクターデザインもされていて、これはこれで気になる！   多くの記者さんがテーブルの内側を撮影されておりました。 床の160cm, 170cmと書かれたサークルは、立って視聴するときの最適位置指標で、座ってみるとちょうど良いように設計されているそうです。     2011年の最初の発表から少しづつ進化を遂げているfVisiOnですが、現在の想定価格は数百万～1千万ぐらいになってしまうそうです。しかし、プロジェクターモジュール自体はどんどん価格が下がっており、さらにテーブル型ディスプレイデバイスとしてMicrosoft Surface（タブレットではなくテーブル）が2011年ごろ数百万で販売されていたことを考えると、お洒落なカフェや企業のショールームといった場所にfVisiOnのようなデバイスが画像生成のPC込みで実装されることは、あながち非現実ではないかもしれません。 https://www.youtube.com/watch?v=CL9MbEM2N4o コンテンツも現在のOculus等のHMDで使用されるUnityで作れるようですから、応用の幅は大きいと思います。 なお、このディスプレイの研究開発を中心的に進められている情報通信研究機構(NICT)ユニバーサルコミュニケーション研究所 超臨場感映像研究室 吉田俊介氏によりますと「原理的には2011年に完成していたものの、気になる画質は今回のSIGGRAPH Asiaで公開されたバージョンで『1号機に比べ16倍の解像度』として刷新されました。最新の動画も公開しましたので、ぜひ研究所のサイトにも来てください」とのことでした。 2015年11月2日付で公開されており、日本語の解説動画とカードバトル風デモが公開されています。実物の迫力はすばらしく、さすがベストデモ受賞です。 以上、「メガネなし・PCなし・装着物なしVR」の最新のカタチをSIGGRAPH Asia 2015の会場から紹介させていただきました。 皆さんならこのテーブルでどんなVRを実現しますか？