13:30 - 14:10 Part 1 もう一度観る『カクレ鬼』 MR-PreVizプロジェクトの紹介 プロジェクト名:映画制作を支援する複合現実型可視化技術 JST CRESTの研究領域 「デジタルメディア作品の制作を支援する基盤技術」に採択 13:50 - 斉藤勇貴監督 ショートショートフィルムフェスティバル アジアで最も有名なショートの映画祭。 オーディエンス賞・ジャパン部門 次点 Action/Cut Film Competition (世界にアピールしたいと思っていた) ハリウッドのエージェントが主催している。 DVDよって配布され、アクション映画に特化されて賞が設定されている。 外国語作品賞(BEST FOREIGN AWARDS)を受賞。 制作意図 ・MR-PreVizというよりも、実際に作品を作る過程で使ってほしいという依頼 ・「返り討ち」という作品を実験シーンとして制作 →MR-PreVizがどのようなところで生かせるのか検討 アクション映画がよいと思った。 海外で8年ぐらいロサンゼルスで勉強していたので、各国の監督と盛り上がる と、アニメ、ゲーム、クロサワといった日本のコンテンツの話題になる。そこで ゲームのオープニングムービーのようなものを考えた。京都の投影の撮影所を使 うということは決まっていたので時代劇だろう、と。ジャパニメーションの世界 を京都で撮る、それをMR-PreVizで撮るということで構成を考えた。 ・かくれんぼ 日本独自のようでいて世界各国にある。子供が感じるドキドキ感をアクション 映画に入れていきたい、と思った。かくれんぼで捕まってしまったものが鬼にな るという日本独自のルールを映画のストーリーに入れた。 ・MR-PreViz 生身の殺陣を中心に、混み合った室内における鬼、広々としたスペースでのVFX をつかったアクションで構成を立てた。 ・10分。 マンガ喫茶で気がついた。第一話はだいたい10分ぐらいのエピソード。 メイキング上映 アクション監督の中村氏が(テレポーテーション)ビデオコンテをつくった。 モーションキャプチャー、リンクスで時ワークスでの撮影。 三次元ビデオでの撮影。 MR-PreViz ・京都、何もない空間で撮影 ・MR-PreVizを使ってミーティング ・稽古の様子。全体を観てもらうためにMR-PreViz映像を使用 ・本番。アクションシーン以外は絵コンテ。アクションシーンはブロッキング、 通しをみせるためにMR-PreVizを使用。 勉強になったこと ・室内のシーン、ワンカットで一つの殺陣を切らずに、という挑戦。はじめて殺 陣をやる女優さん、美術セットという制約。MR-PreVizをやってよかった点、カ メラのリハーサルができた。アングルを探す作業は忙しい女優を使って探してい たら難しかっただろう。 アクション女優を使ったMocapデータをセットに持ち込んでカメラの練習をして いた作業の中で、カメラマンの野田氏がズームイン、ズームアウトを使い始め た。CGで作られたキャラクターをファインダーでのぞいて、ズームを使っていた 絵を試してみて、これを使おうと言うことになった。また長い殺陣なので二人 の、ボディダブルをつかった(代理俳優の)入れ替わりポイントを探すこともできた。 実際の美術セットを使って、見え隠れする、という雰囲気が出なかったので、 美術さんに格子を立ててもらったりもした。かなりMR-PreVizが役に立った。 撮影2日目、最後まで粘りたいと思って、MR-PreVizをみて、現場でいろいろ試し ていた。新しいカット割りができるのかと立命館に問い合わせた。一度PreVizと しては完成していたが、データを再利用して新しいカット割りで試してみた。 スタッフミーティング ・オールスタッフミーティングでのMR-PreVizの利用。口で説明できないところ は絵コンテ、作ったPreVizを使ってプレゼン。理想はスタッフの頭にコピー& ペーストだが、一度自分でCGではあるが、作ってみるということが大事。 田村教授コメント 本当は「これから行っても良いですか」ではなくて、現場でやりたいところ。 現場ではSDでリアルタイムマッチムーブをやって、再度HDレベルで合成。 そのうちPCが速くなり、HDDが大きくなれば、現場でできるようになる。 会場質問 秋山監督:撮影日数とか、ポスプロとかスケジュールに関して教えて欲しい 斉藤監督:企画が3月、MR-PreVizが5月、撮影が6月に3日間、リンクスとイマジ カには1ヶ月弱、3週間程度。 14:20 - SIGGRAPH2009からの話題 大島登志一 開催概要 プログラム上ゲーム関係からの発表が目立った 入場者・出展者数の主な推移 2009 ニューオリンズ 11,000 (162) 参加者激減 SIGGRAPH2009の特徴 ・Production/VFXに加え幅広い領域にフォーカス ・Games: Sandbox Symposiumを吸収 ・Art & Design Leonardo(ジャーナル)とアートペーパー ・Music and Video NIME ・Stereoscopic 3D(S-3D) 映画、ゲームのセッション多数、エキシビジョンでも関連製品が目立つ ・ゲームや映画のテクノロジーとの連携を強調 Computer Animation FestivalにReal-Time Live Demo リアルタイム・シネマチック・アニメーション ゲームやVFXでの物理シミュレーション VFXにおける現実空間情報の活用 カテゴリ毎の話題 ・Production/VFX映画関係の話題 S-3Dの話題が充実。ショートフィルムの上映 UP, Cloudy with a chance of Meatballs, Monsters vs. Aliens, G-Force(2D-3D変換), Coraline (ストップモーションアニメーション、3Dプリンタでキャラクタ作成) 参加者が少なくなったとはいえ長蛇の列。 会場各所でRealD製円偏光眼鏡を配布。 DreamWorks, Monsters vs. Aliens 特定のノウハウの公開というわけではなく、 S-3Dで観やすい映画を作るためのプレゼンテーション。 プレゼンテーション自体が立体視。 惜しげもなくノウハウを公開。業界全体を盛り上げていきたいという感覚。 ・場面が変わるときには視差を徐々に変更する。 ・スクリーンより奥に空間をレイアウトする ・手前にオブジェクトを突き出すのは目が疲れる ・手前の対象がウィンドウで切れないようにする ・場面展開に応じて視差は効果的に使う ・レイヤに分けて視差を変える、など。 The curious case of Benjamin Button リアルな映像を数値計算で作り出すシミュレーションから、 現実の情報を取り込んで加工する手法へ。 数年前SIGGRAPHの発表で見たもの、技術と映画との連携。 Quantum of Solace(007 慰めの報酬より) Double Negative Ltd. DC3からの脱出シーン インハウススカイダイビング内で15台のカメラで撮影。 Visual Hullを作って、テクスチャを貼る。 最終映像だとほんの一瞬。 Bolt, Terminator Salvation, Star Trek, Transformerなど ベンジャミンバトン おじいさんの入浴シーン、CGで作られているのがわからない。 ブラッドピットの表情をキャプチャ(Contour, Mova Inc, SIGGRAPH2006) Light Stage、BRDF、BSSDFを取得 IBLでリライティング 「The Digital Emily Project」 4D View, Inria リアルタイムでポリゴン化する技術。現状のデモだけだとクオリティが足りな い感じもするが、実際の映画業界が使ったらすぐにクオリティが上がりそうだ。 (ここで田村先生から時間についてつっこみが) Mova Contour Face 蛍光で発光するパウダーを使うをステレオで使って、再現する技術。 Contour Reality Capture (SIGGRAPH 2006) 従来は十分ではないと思われた画質の技術が、映画の世界では十分なクオリ ティで利用されている。それをささえるサイクルが速くなってきている。 …というわけでMR-PreVizも実用化の域に達するのも近い話である、 ということである。 15:50 - AR/MR Tracking技術の最前線 奈良先端大学 佐藤智和 (横矢研助教) MRにおける幾何位置あわせにおいて、 画像処理で位置あわせを実現する シーンのいずれかに世界座標系を設定し、 カメラ座標系を設定する。 →カメラの位置姿勢をどうやって推定するか。 (1)センサを使う方法 GPS、ジャイロコンパスを組み合わせる (2)画像を用いる手法 画像情に撮影されたマーカや自然特徴を用いて →環境中に配置された形状が基地の基準物体を用いて、カメラの位置姿勢を推定 する。 →(問題点)人工マーカを用いた場合、美観を損ねる場合がある。屋外等の広域 環境にマーカを配置維持することが難しい。 →自然特徴を使った位置あわせ手法。点特徴(明るさの角)や線特徴(人工物などに よくある)。 自然特徴を用いた手法の分類 (1)事前知識を用いる方法 ■3次元モデルを用いる手法 CADモデルを使って、現実物体との位置あわせをする。カメラの位置姿勢が推 定できれば、輝度エッジの間の距離を最小化することができる(Visual Servo)。 (T.Dummond PAMI 2002) 線特徴を用いた手法の問題点: 開口問題:一対の直線では直線の方向ベクトルに沿った移動をしても誤差が変 わりない(たてのラインばかりでは使えない) 単純な形状のCADモデルでは、使える直線情報が少ない。 テクスチャを使って線特徴を増やす。 (”Going-Out” G.Reithmayr ISMAR 2006) 線特徴+点特徴を用いる方法 事前知識として与えられる情報(キーフレームの画像、カメラ位置、姿勢、物 体との三次元モデル)とCGモデルの情報を照合(V.Lepetit ISMAR2003)。 ■自然特徴点ランドマークを用いる手法 オフラインフェーズでマーカーを使って自然特徴点の3次元位置と画像パターン を学習し、オンラインで実践する。CADモデル等を使うことなく実現可能。 (Y.Genc ISMAR 2002) <横矢研> 全方位型マルチカメラシステムLadybug+SFMを使った方式。 自然特徴点の追跡をして、カメラの位置姿勢と自然特徴点の三次元位置推定。 拡張現実感によるユーザナビゲーション:携帯・モバイルPC等を通して直感的 なナビゲーションサービスを提供することが可能に。 カーナビゲーションへの応用:1フレーム当たり66msecで動作。 ランドマークデータベースの構築 (2)事前知識を用いない方法 visual SLAM(Simultaneous Localization and Mapping) 環境のマップ(自然特徴点の3次元位置)をオンラインで構築する手法 PTAM(G.Klein et al, ISMAR2007):特徴点の追跡処理と並行して区分的なバン ドル調整を行う手法。 vSLAMの課題 マップがオンラインで構築されるため、座標系をインタラクティブに設定する 必要がある。 まとめ: 自然特徴を用いたAR/MRのための幾何位置あわせ手法を、事前知識を用いる手法 と用いない手法に分類し、現状の技術レベルと課題について述べた。 今後は、前者と後者及び各種センサを組み合わせることによる、より広域な範 囲で頑健に利用できるMR/ARシステムの実現が期待される。 会場質問 Q:ズームについては画像方式では取得できないのでは。 A:ズームには弱い。メカ方式で取得するしかない。 組み合わせ手法もつくっていければ。 Q:ハイブリッドで、位置がズレにないようにするというのは大事だけれど、 何か発信器のようなものを配置して精度を向上させる方法はないのですか? A:屋外で使えるか、というところでは難しい。 隠れたところに仕込んでおいたら、という意味で今既にあるのは赤外線をつかっ たカメラ姿勢推定など。 大島:SIGGRAPHからの話題で、1点新しいものがあったのは、 MITのRaskarのBocode。 ARToolkitとの比較で、焦点をぼかすとマーカーが見える。 これを使えば目立たない形でマーカを作ることができる。 15:25 - MR-PreVizプロジェクト:要素技術の進展 天目隆平(立命館) 3Dマッチムーブ、バーチャルスタジオとの違い 「On-Site realtime 3D matchmove」 MR-PreVizを用いた映画制作の流れ (1) 絵コンテ等を参考にMR-PreVizを使うシーンを決定 (2)アクションデータや大道具のCGデータを用いて (3)位置あわせカメラワークカット割り (3.5)Editing Phase(ルック、照明等のシミュレーション) (4)カメラワークシミュレーション結果の確認 →やっていくうちに(3.5)が必要になってきた。 (1)MR-PreVizの対象となるシーンのデザイン ・CGオブジェクトを配置 ・アクションデータを構築、配置、調整 ・異種データ(MoCap、3Dビデオ)の共存 ・基本要素の接合による一連のアクションの構築 (2)現実・仮想環境の位置あわせ 奈良先端大横矢研の技術を利用 ・MR-PreVizに最適な位置あわせ手法に拡張 ランドマークデータベース作成を高速化・効率化 初期位置あわせの高速化 トラッキング破綻からの復帰の実現 (3)MR-PreViz撮影の準備段階 人為的マーカを利用し、カメラパスを推定 (4)MR-PreViz撮影時 特徴点を利用し、カメラ位置を推定。 数分でカメラ位置が算出できる。 (3.5)カメラワークの記録、確認調整 CWML(Camera-Work Markup Language)として記録 この形式のデータを確認用のソフトウェアに入れて確認 撮影したMR-PreVizのカメラワークを微調整する MR-PreVizでのルックの検討 照明、カラコレについてなど、 撮影の総合的なシミュレーション Relighting 影除去→色調補正→仮想照明の付与 ソフトウェアツール群と CASCADES、MR-PreViz Shooting Tool、MR-PreViz 撮影合成システム フルスペックモデル(ラックマウントデスクトップ、ショルダーHD) ミッドモデル(業務用ハンディ、カメラメディアにHD記録) ライトモデル(民生用カメラ、ズーム取得不可、カメラメディア、バッテリー) プロジェクトの残り期間での予定 ・要素技術 各技術、基本的な部分は既に提案済み 残り期間でのブラッシュアップを行う ・ソフトウェアツール 今年度内にこれまでの要素技術ツール群をリリース(チーム内→終了後に公開) 来年度内に最終版をリリース ・ハードウェアシステム 3モデルの提供