>

マインドマップを使ってプロジェクトを紹介。

プロジェクト160個ぐらいある。

SXSW、NHKスペシャル、Ingress、オリンピック招致映像、YCAM

作品紹介。

UCAMでのレジデンス活動。

トラッキング、ロボットアーム、レーザープロジェクターなどを使い、どのようなダンスができるか実験していく。プロジェクションマッピング、Kinectをつかうなど。

YCAMにいるときにいろいろ試して実験する。

プロジェクションするときに上半身と下半身に違う映像を出したいなど、再帰性反射材を使ってみるなど。演出家チームからリクエストがあって、作ったりなど割と双方向でつくっていく。

オリンピック映像

2013年7月ごろフェンシングで何かできないかお話をもらう。フェンシング何やってるか分かりづらい、とても速いので、剣先をトレースして、可視化してみたら、300フレームぐらいの速度をハイスピードカメラで撮影して、手でトラッキングしていく。

剣先にまーかをつけて軌道が出るように、選手になるような子供たちを会場に入れて、ライブでいろいろ、ゲームっぽくマーカーが崩れるなど演出していく。

フェンシングは面白いのでこの先も引き続き、映像化している。データビジュアリゼーション。フェンシングはマスクがあるので、視線撮ったり筋電取ったりしてグラフィック化している。

ビジュアリゼーションだけでなくて、軌跡を学習して、技をジェスチャー解析してアイコンを表示する。もう少しデータが集まると精度が上がるが今のところ半分マニュアル。靴や心拍、視線も。試合が終わった後に戦略たてるのにつかえる。剣先にマーカーつけなくてもいいなら、実際の試合でも使えるが、マーカーの代わりに反射材を貼ったりなど試行錯誤している。

★選手の子供たちの反応が面白い。カメラはPhotoronのようだ。

SXSWのPerfume映像

★ライブで見たときは低画質だったので、こんな高画質で見れるのうれしい。

手持ちのカメラが客席に3台いて、ステージを撮影している。2階席に固定カメラが3つ。手持ちカメラにはマーカーが付いているので、システムは常にそのカメラの位置を知っている。生カメラから3Dスキャンを使ったプリレンダーの映像に移動して、別の生カメラへ、さらにCGへ。生カメラの位置がわかっているので、スムーズにカメラとカメラの間を作ることができる。YouTubeで「Droneで撮っているんだ」という意見があったが、全くそういうことはしていません。

会場は事前に3Dスキャン、Perfume3人も事前に踊りをスキャンしてある。必ず同じ踊りを確実にやらねばならないので彼女らでなければできない。スクリーンにもマーカーが付いているので、移動させても必ず正しい位置に映像投影できる。

デバッグビュー、バーチャルカム／リアルカム／フルCGなどが表示されている。仮想カメラから本物カメラにブレンディンぐしながら移動する様子

Droneについて

Droneとの出会い。

3年前、カンヌの表彰式会場。Droneに鏡が付いていて下から光の柱を表示、お客さんがステージでやったのは最初。

新しいこととして、人とDroneのダンスを作ろうと思った。YCAMで作ったボールがモーターで空中に浮く作品は平面でしかつくれないが、この時にフィジカルなオブジェクトと人間の舞台は面白いと思った。その時はDroneがACTECHのもので1台70万。Droneをただ飛ばして人が何となく動くだけだと表現としておもしろくない。わざとふらふら飛ぶ、四角錘をつけて不安定にして踊りっぽくしている。最初はソフトウェアを作って3次元パスを作っていたが、戦隊っぽくなってしまいダンスっぽく見えない。ヘリの動きも振付家にもって振付つけてもらっている。Drone自体にマーカーをつけて、位置を解析して制御。そのマーカーの動きをスマートプレイバックで再現することができるので、その場で飛ばして確認できる。精度的には早い動きはついていけなかったりするが、かなり高い再現度で実現できる。ダンサーがDroneと初めて踊った時の映像。Droneがどれぐらいのスピードで飛んで、どれぐらい危ないのか、すごく怖がって踊っているが、どんどん慣れている、激しく動いているときはなかなか近づけなかったりするが、だんだん近づけるようになってくる。この辺が面白い。

24体の軍隊ヘリ。人の周りをくるくるまわったりなどいろいろ試している。実際にはまだテストしかしていないものも。下に入ると髪が乱れるのでこのテストもしたりなど。

NEXTWORLD（NHKスペシャル）で、もうちょっと視認性が高いものを作ろうということで、球状のものを作った。＠夜の未来館。このころからパスを3DCGソフトで書くようになってきた。（Autodesk Mayaを起動）紅白の会場が表示され、Droneの振付がアニメーション。このころからDroneの動きはCGチームの作業。演出、振り付けもあるが。PerfumeのPVにちょうちんがあったのでそれを飛ばしたかった。実際の映像、副音声では「Wifiが」、「Droneという名の照明」などといわれているが…（笑）。僕らからこんな危険な演出は提案できないが、最後、Perfume側から「キャッチしたい」という提案があって実現した。

Drone関係はまだまだやっている。

時間につき終わり！

続きましての講演は

実世界メディアと先端コンテンツ

東京大学大学院

情報理工学系研究科 教授

バーチャルリアリティが専門なのでその辺の近況から。

VRは最近の技術ではない、25年ぐらい前から始まっている。25年ぐらいすると研究者もプロジェクトも一巡する。

現在は第2世代VR技術。モバイル、インターネットは昔はなかった。

「IT業界のパラダイムシフト」

→おどろくほど未来を忠実に予測している。

コンテンツ産業の隆盛

我が国のコンテンツ産業（映画、アニメ、TVゲーム、書籍等）の環境はすでに12兆円。アジア太平洋を越えて展開。

1\. 今どきのHMD

我々が提案したころは、非常に奇妙なディスプレイ、変な技術だった。

・Google Glass

・Oculus Rift：ものすごく安価。当時、Oculusにはるかに劣るディスプレイが200万円ぐらいしていた。それが8万以下。

・個人所有可能な見回し可能デバイス：ハコスコ, iPhone Lens, iPad

→今までは特殊なものを作らなければならなかった。それをギャラリー等におく必要があった。それが第2世代では個人で所有可能になった。

・全天周映像

　鉄道関係。「復活C61 高崎駅発車」など。JRといっしょにやっている。

　テレビの場合は蓄えられた映像を流せばユーザはおなか一杯になることが保障されているが、VRの場合は、たくさん並べられた料理をどのように食べてもらえるか、というインタフェースの用意が重要。

・Kinect

　「Prima」Digital Content Expo 2011映像から。このような技術を使えば、全天周にさらに加えていくことができる。

2\. モバイル・ウェアラブルと領域型展示

　一時期「セカイカメラ」という技術があったが、これからそのような技術が広がっていくだろう。座標、視点がどのように動くかなど、映像に加えて、座標を忠実にコントロールする必要がある。

　情報技術のモバイル・ウェアラブル化によって、コンピュータがどんどん小さくなっていく。ウェアラブルコンピュータとは、文字通り「着るコンピュータ」のことである。1980年代の初頭からSteve Mannなどの提案。身体に装着されるほどに小型化したVRデバイスは個人の感覚や身体の拡張を可能にする。我々はもはや裸ではない。

・2005年 愛知万博

　環境博をやろう、森の中をウェアラブルコンピュータをもって…ということを考えたりもした。大鷲がいたりしていきなりできなくなったが、構想では議論した。

・領域型展示

　2000年TEPIA、2001年愛知青少年公園、2002年愛知青少年公園などを使ってダウンジャケットを着て体験する経済産業省と連携して開発した展示。せいぜい携帯電話を使って森の中や会場を歩き回って、展示＋αなどができる。

・科学博物館「ゲーム展」、「ユビキタスゲーミング」（2005）

　ゲームの未来を考える。会場の場所場所で、位置座標に基づいて質問が出てくるというものはできないか？端末を自分たちで作った。展示の前に行くといろんな質問が出てくる。天井に赤外線センサを山のように埋め込んでいる。これだけで数千万。

現在だったら、スマホをつかってやればいい、ポジショニングもほかのセンサがあるが（国費使ってすみません）。

3.

「電車の思いでのぞき窓」ミュージアムの中のVR（文部科学省）。止まっている機関車の展示物に対して、タブレットを使ってロックオンすると、実写の走る姿が表示される。電車の動いているシーンを横のテレビではなく（静態展示に）同時に見えるということは重要という現場の反応を得た。

JR神田万世橋ビル「万世橋 思い出のぞき窓」

昔の風景を現在の現地で見ることができる。レールの位置などが残っている。

NHKが「ブラタモリ」がそれに早く気が付いてて、で何の変てつもないところに昔何があったかという情報を使って、訪問する。万世橋は歴史的な場所。交通博物館、万世橋駅、その前など。

展示システムの詳細

今見えている世界に座標をどのように合わせて表示するか？昔の写真とちょっと前の写真との対応付けをし、これから見ようとする映像との対応付けをする。過去の空間との対応はまじめにやっておき、今目の前の風景とのマッチング配置センサを使って行う。昔であれば、様々なセンサを使って、となるが今は画像処理でものすごく安くできる。これにより実用化の可能性が出てきた。

道路の上に何かおこうとすると、それだけで大変。全部モバイルでできることは重要。見学ツアーなど。問題はここから先、ビジネスモデルとして、息の長いビジネスモデルにしていく必要がある。

動画への追体験

・NHK「100年前の東京に色を付ける」をタブレットで追体験できるようにする。

高崎市美術館「鉄道とアートの旅」展（～9/27）

　「鉄道 思い出のぞき窓」こういうものをコンテンツとしての概念が、テレビゲームの人たちにはない。ギャラリーなどを使ってこういうコンテンツを教育していくことが大事。

　どれだけの写真が大量に手に入るか？が重要であるが、高崎の市民の方から提供。

領域型バーチャルタイムマシン

　画像から特徴点を追跡し、過去の写真の撮影位置まで誘導する。

　昔の安田講堂などを表示させる、昔をReVisitさせる高齢者向けコンテンツ。

構想

　Webで「昔の古写真をみんなに体験してほしい」→サーバーにアップロード、アプリで探しに行く、追体験をする。

・シェアログ：SUICAを使ったメディア展示

　交通系ICカードの個人情報から、個人情報をコンテンツ的にどこまでいじってOKかを実験している

　「Shalog3D」移動履歴を可視化して、自分の行ったところだけが照らされる。複数人でやれば東京全体が照らされる。東京駅ステーションギャラリーで展示されている。「駅行っただけで疑われる駅なんてないよ」と言ったのだが、JRの人はとても慎重でどこの駅はわからない表示になっている。本当は3Dで画像ベースレンダリングで表示。

5\. 観光産業とAR

　通常の映像コンテンツといえばディスプレイの前でみていたが、今後は移動しながら見るということになるだろう。技術系からみると、観光産業というのはあればいいよねという感覚であったが、実は観光産業の規模は20兆円、自動車産業と同じサイズの産業が、あまりテクノロジーと関係なく産業として存在している。あまり技術の投入されていない分野。これから大きく伸びるのではないか。オリンピック・パラリンピックは観光、このあとどのような習慣を作っていけるかという点が科学技術白書でも語られている。

　東京文化資源区構想、東京大学伊藤滋先生などとやっている。

　箱根町。エヴァンゲリオンの第三東京市、聖地探訪という意味でいい場所である。ソフトバンクがAR、Ingress、外出てもゲームできる。これからすごく広がっていくであろう。

人がどうやって動いているか？という情報は全く違った文脈でも意味がある。

人がどのようにして動いたか、人がどのようにして街を見たか？これらはものすごいビックデータ。単なるエンタテイメントを超えた利用方法がある。ARG一括りでされてしまうかもしれないが、これからいろんな意味で有望。話題提供、謎めいた感じで講演を終わりたい。