コンテンツ東京2015 特別公演聴講録/真鍋大渡・舘暲・廣瀬通孝

「Perfumeのライブ演出、オリンピックの招致映像…世界を圧倒させる表現はどのように生まれたか?」
(株) ライゾマティクス
取締役 真鍋 大度
エンターテイメント、アート、広告、舞台、ファッションなど、あらゆる創造分野で、誰も見たことがない作品を生み出し続ける真鍋氏。「新しい技術を使って開発者たちが思い付かなかった使い方を見つけたい」という同氏が挑む、表現の未来とは。

プロフィール

理科大、メーカーSE、IAMAS

マインドマップを使ってプロジェクトを紹介。
プロジェクト160個ぐらいある。
SXSW、NHKスペシャル、Ingress、オリンピック招致映像、YCAM
作品紹介。
UCAMでのレジデンス活動。
トラッキング、ロボットアーム、レーザープロジェクターなどを使い、どのようなダンスができるか実験していく。プロジェクションマッピング、Kinectをつかうなど。
YCAMにいるときにいろいろ試して実験する。
プロジェクションするときに上半身と下半身に違う映像を出したいなど、再帰性反射材を使ってみるなど。演出家チームからリクエストがあって、作ったりなど割と双方向でつくっていく。
オリンピック映像
2013年7月ごろフェンシングで何かできないかお話をもらう。フェンシング何やってるか分かりづらい、とても速いので、剣先をトレースして、可視化してみたら、300フレームぐらいの速度をハイスピードカメラで撮影して、手でトラッキングしていく。
剣先にまーかをつけて軌道が出るように、選手になるような子供たちを会場に入れて、ライブでいろいろ、ゲームっぽくマーカーが崩れるなど演出していく。
フェンシングは面白いのでこの先も引き続き、映像化している。データビジュアリゼーション。フェンシングはマスクがあるので、視線撮ったり筋電取ったりしてグラフィック化している。
ビジュアリゼーションだけでなくて、軌跡を学習して、技をジェスチャー解析してアイコンを表示する。もう少しデータが集まると精度が上がるが今のところ半分マニュアル。靴や心拍、視線も。試合が終わった後に戦略たてるのにつかえる。剣先にマーカーつけなくてもいいなら、実際の試合でも使えるが、マーカーの代わりに反射材を貼ったりなど試行錯誤している。
★選手の子供たちの反応が面白い。カメラはPhotoronのようだ。
SXSWのPerfume映像
★ライブで見たときは低画質だったので、こんな高画質で見れるのうれしい。
手持ちのカメラが客席に3台いて、ステージを撮影している。2階席に固定カメラが3つ。手持ちカメラにはマーカーが付いているので、システムは常にそのカメラの位置を知っている。生カメラから3Dスキャンを使ったプリレンダーの映像に移動して、別の生カメラへ、さらにCGへ。生カメラの位置がわかっているので、スムーズにカメラとカメラの間を作ることができる。YouTubeで「Droneで撮っているんだ」という意見があったが、全くそういうことはしていません。
会場は事前に3Dスキャン、Perfume3人も事前に踊りをスキャンしてある。必ず同じ踊りを確実にやらねばならないので彼女らでなければできない。スクリーンにもマーカーが付いているので、移動させても必ず正しい位置に映像投影できる。
デバッグビュー、バーチャルカム/リアルカム/フルCGなどが表示されている。仮想カメラから本物カメラにブレンディンぐしながら移動する様子
Droneについて
Droneとの出会い。
3年前、カンヌの表彰式会場。Droneに鏡が付いていて下から光の柱を表示、お客さんがステージでやったのは最初。
新しいこととして、人とDroneのダンスを作ろうと思った。YCAMで作ったボールがモーターで空中に浮く作品は平面でしかつくれないが、この時にフィジカルなオブジェクトと人間の舞台は面白いと思った。その時はDroneがACTECHのもので1台70万。Droneをただ飛ばして人が何となく動くだけだと表現としておもしろくない。わざとふらふら飛ぶ、四角錘をつけて不安定にして踊りっぽくしている。最初はソフトウェアを作って3次元パスを作っていたが、戦隊っぽくなってしまいダンスっぽく見えない。ヘリの動きも振付家にもって振付つけてもらっている。Drone自体にマーカーをつけて、位置を解析して制御。そのマーカーの動きをスマートプレイバックで再現することができるので、その場で飛ばして確認できる。精度的には早い動きはついていけなかったりするが、かなり高い再現度で実現できる。ダンサーがDroneと初めて踊った時の映像。Droneがどれぐらいのスピードで飛んで、どれぐらい危ないのか、すごく怖がって踊っているが、どんどん慣れている、激しく動いているときはなかなか近づけなかったりするが、だんだん近づけるようになってくる。この辺が面白い。
24体の軍隊ヘリ。人の周りをくるくるまわったりなどいろいろ試している。実際にはまだテストしかしていないものも。下に入ると髪が乱れるのでこのテストもしたりなど。
NEXTWORLD(NHKスペシャル)で、もうちょっと視認性が高いものを作ろうということで、球状のものを作った。@夜の未来館。このころからパスを3DCGソフトで書くようになってきた。(Autodesk Mayaを起動)紅白の会場が表示され、Droneの振付がアニメーション。このころからDroneの動きはCGチームの作業。演出、振り付けもあるが。PerfumeのPVにちょうちんがあったのでそれを飛ばしたかった。実際の映像、副音声では「Wifiが」、「Droneという名の照明」などといわれているが…(笑)。僕らからこんな危険な演出は提案できないが、最後、Perfume側から「キャッチしたい」という提案があって実現した。
Drone関係はまだまだやっている。
時間につき終わり!
続きましての講演は

「どこでもドア」、本当にできるかも! ~先端技術が 体験 を変える~

東京大学 名誉教授  舘 暲
ロボットやVRなどの進展により、人間が“体験”することの定義が覆される大変革が起きようとしている。先端技術はエンターテイメント、コンテンツの領域でどのように応用できるのか。最新動向を紹介しながら、未来を見据える。
<経産省の定義>
コンテンツとは
人間の感性に作用して、安心、快適、楽しい生活と豊かな社会の実現に寄与するもの。
コンテンツの範囲
人間の感性に作用して感受される情報及びシステム、サービス、アプリケーション、インタフェース、デザイン、環境、生活・社会空間
コンテンツ技術とは
コンテンツ技術の5分野 「経済産業省技術マップ2015コンテンツ分野」より
(1)コンテンツの(1)制作創造、(2)制作流通、(3)表現体験、(4)処理保管(5)検索セキュリティ
コンテンツの地域発信、地域密着、海外発信、観光、ロボット技術、自動車は車内、旅行、家庭
再帰性投影技術:RPT
未来館「どらえもん展」から
光学迷彩
空中像3Dディスプレイ「Repro3D」
再帰性投影技術(RPG)を用いた多視点裸眼3D表示
上下左右42視点 空中像をさわることができる
「HaptoMIRAGE」
複数人・多視点・裸眼3D。実物の上に絵を描くこともできる。
これはほとんど”レイア姫”の世界。1980年代のイマジネーションは2010年代には現実になっている。
これは人を映し出す技術になっていく。
「HOLODECK」(コンセプト?)
スタートレックの世界を実現する、3次元眼鏡なしの世界を広がらせたい。
「TWISTER V」
回転パララクスバリアによる眼鏡なし3D。
日本科学未来館で「ふれてみよ」の展示
「GravityGrabber」圧覚と剪断(せんだん)力の提示
「TECHTILE TOOLKIT」
「触感放送」オリンピックのプレイヤーの体験を感じたいなど
「Haptic Telexistence」指でつまむ、せんだん力、圧力など。
テレイグジスタンスはバーチャルな「どこでもドア」を実現する
telexistence = tel-  + existence (離れて-存在する)
ubiquitousはコンピュータが偏在しているが
「TELEsar2」
ロボットが受けた触感をセンサからネットワークへ、操縦者の顔をロボットに表示する。世界中にこのロボットがあれば…。
「TELESAR V」
もっと多くの自由度を持っている。
人間能力の補綴と拡張:超人
運動、間隔、人間、知能、時空、本当は時間と空間も超越しているが。
・失われた機能の回復
・機能の更なる拡張
Flying Telexistence
超人スポーツ Superhuman Sports
義体と人間が一体となって技を競う「人機一体」
障碍と高齢も体力差も知力差も越えて、それらを補う
競技系、装着部門、擬態部門、観戦系
ACCEL 身体性メディアプロジェクト
デジタルコンテンツEXPO2015
10/22-25に日本科学未来館で開催。SIGGRAPHとの連携、Innovative Technologiesも募集中、7/21 22時応募締切。Industry, Culture, Humanの分野。

「実世界メディアと先端コンテンツ」

東京大学大学院 情報理工学系研究科 教授
廣瀬 通孝
最近のデジタルメディアデバイスの充実は、全く新しいプラットフォームに基づいたコンテンツの展開を予想させる。本講演では、日常世界とゲームなどの物語世界が交差するARG(拡張現実ゲーム)など、実世界形のメディアコンテンツの可能性を中心に考えてみたい。
実世界メディアと先端コンテンツ
東京大学大学院
情報理工学系研究科 教授
廣瀬 通孝
最近のデジタルメディアデバイスの充実は、全く新しいプラットフォームに基づいたコンテンツの展開を予想させる。本講演では、日常世界とゲームなどの物語世界が交差するARG(拡張現実ゲーム)など、実世界形のメディアコンテンツの可能性を中心に考えてみたい。
バーチャルリアリティが専門なのでその辺の近況から。
VRは最近の技術ではない、25年ぐらい前から始まっている。25年ぐらいすると研究者もプロジェクトも一巡する。
現在は第2世代VR技術。モバイル、インターネットは昔はなかった。
「IT業界のパラダイムシフト」
→おどろくほど未来を忠実に予測している。
コンテンツ産業の隆盛
我が国のコンテンツ産業(映画、アニメ、TVゲーム、書籍等)の環境はすでに12兆円。アジア太平洋を越えて展開。
1. 今どきのHMD
我々が提案したころは、非常に奇妙なディスプレイ、変な技術だった。
・Google Glass
・Oculus Rift:ものすごく安価。当時、Oculusにはるかに劣るディスプレイが200万円ぐらいしていた。それが8万以下。
・個人所有可能な見回し可能デバイス:ハコスコ, iPhone Lens, iPad
→今までは特殊なものを作らなければならなかった。それをギャラリー等におく必要があった。それが第2世代では個人で所有可能になった。
・全天周映像
 鉄道関係。「復活C61 高崎駅発車」など。JRといっしょにやっている。
 テレビの場合は蓄えられた映像を流せばユーザはおなか一杯になることが保障されているが、VRの場合は、たくさん並べられた料理をどのように食べてもらえるか、というインタフェースの用意が重要。
・Kinect
 「Prima」Digital Content Expo 2011映像から。このような技術を使えば、全天周にさらに加えていくことができる。
2. モバイル・ウェアラブルと領域型展示
 一時期「セカイカメラ」という技術があったが、これからそのような技術が広がっていくだろう。座標、視点がどのように動くかなど、映像に加えて、座標を忠実にコントロールする必要がある。
 情報技術のモバイル・ウェアラブル化によって、コンピュータがどんどん小さくなっていく。ウェアラブルコンピュータとは、文字通り「着るコンピュータ」のことである。1980年代の初頭からSteve Mannなどの提案。身体に装着されるほどに小型化したVRデバイスは個人の感覚や身体の拡張を可能にする。我々はもはや裸ではない。
・2005年 愛知万博
 環境博をやろう、森の中をウェアラブルコンピュータをもって…ということを考えたりもした。大鷲がいたりしていきなりできなくなったが、構想では議論した。
・領域型展示
 2000年TEPIA、2001年愛知青少年公園、2002年愛知青少年公園などを使ってダウンジャケットを着て体験する経済産業省と連携して開発した展示。せいぜい携帯電話を使って森の中や会場を歩き回って、展示+αなどができる。
・科学博物館「ゲーム展」、「ユビキタスゲーミング」(2005)
 ゲームの未来を考える。会場の場所場所で、位置座標に基づいて質問が出てくるというものはできないか?端末を自分たちで作った。展示の前に行くといろんな質問が出てくる。天井に赤外線センサを山のように埋め込んでいる。これだけで数千万。
現在だったら、スマホをつかってやればいい、ポジショニングもほかのセンサがあるが(国費使ってすみません)。
3.
「電車の思いでのぞき窓」ミュージアムの中のVR(文部科学省)。止まっている機関車の展示物に対して、タブレットを使ってロックオンすると、実写の走る姿が表示される。電車の動いているシーンを横のテレビではなく(静態展示に)同時に見えるということは重要という現場の反応を得た。
JR神田万世橋ビル「万世橋 思い出のぞき窓」
昔の風景を現在の現地で見ることができる。レールの位置などが残っている。
NHKが「ブラタモリ」がそれに早く気が付いてて、で何の変てつもないところに昔何があったかという情報を使って、訪問する。万世橋は歴史的な場所。交通博物館、万世橋駅、その前など。
展示システムの詳細
今見えている世界に座標をどのように合わせて表示するか?昔の写真とちょっと前の写真との対応付けをし、これから見ようとする映像との対応付けをする。過去の空間との対応はまじめにやっておき、今目の前の風景とのマッチング配置センサを使って行う。昔であれば、様々なセンサを使って、となるが今は画像処理でものすごく安くできる。これにより実用化の可能性が出てきた。
道路の上に何かおこうとすると、それだけで大変。全部モバイルでできることは重要。見学ツアーなど。問題はここから先、ビジネスモデルとして、息の長いビジネスモデルにしていく必要がある。
動画への追体験
・NHK「100年前の東京に色を付ける」をタブレットで追体験できるようにする。
高崎市美術館「鉄道とアートの旅」展(~9/27)
 「鉄道 思い出のぞき窓」こういうものをコンテンツとしての概念が、テレビゲームの人たちにはない。ギャラリーなどを使ってこういうコンテンツを教育していくことが大事。
 どれだけの写真が大量に手に入るか?が重要であるが、高崎の市民の方から提供。
領域型バーチャルタイムマシン
 画像から特徴点を追跡し、過去の写真の撮影位置まで誘導する。
 昔の安田講堂などを表示させる、昔をReVisitさせる高齢者向けコンテンツ。
構想
 Webで「昔の古写真をみんなに体験してほしい」→サーバーにアップロード、アプリで探しに行く、追体験をする。
・シェアログ:SUICAを使ったメディア展示
 交通系ICカードの個人情報から、個人情報をコンテンツ的にどこまでいじってOKかを実験している
 「Shalog3D」移動履歴を可視化して、自分の行ったところだけが照らされる。複数人でやれば東京全体が照らされる。東京駅ステーションギャラリーで展示されている。「駅行っただけで疑われる駅なんてないよ」と言ったのだが、JRの人はとても慎重でどこの駅はわからない表示になっている。本当は3Dで画像ベースレンダリングで表示。
5. 観光産業とAR
 通常の映像コンテンツといえばディスプレイの前でみていたが、今後は移動しながら見るということになるだろう。技術系からみると、観光産業というのはあればいいよねという感覚であったが、実は観光産業の規模は20兆円、自動車産業と同じサイズの産業が、あまりテクノロジーと関係なく産業として存在している。あまり技術の投入されていない分野。これから大きく伸びるのではないか。オリンピック・パラリンピックは観光、このあとどのような習慣を作っていけるかという点が科学技術白書でも語られている。
 東京文化資源区構想、東京大学伊藤滋先生などとやっている。
 箱根町。エヴァンゲリオンの第三東京市、聖地探訪という意味でいい場所である。ソフトバンクがAR、Ingress、外出てもゲームできる。これからすごく広がっていくであろう。
人がどうやって動いているか?という情報は全く違った文脈でも意味がある。
人がどのようにして動いたか、人がどのようにして街を見たか?これらはものすごいビックデータ。単なるエンタテイメントを超えた利用方法がある。ARG一括りでされてしまうかもしれないが、これからいろんな意味で有望。話題提供、謎めいた感じで講演を終わりたい。