アバターの技術（１）：パフォーマンス・キャプチャー

Avatar: Creating The World of Pandora - Simul-Cam
http://www.wired.com/video/avatar-creating-the-world-of-pandora--simulcam/63285040001

アバターの技術は様々なところから注目されているが、実は自分にはぴんと来ていない。
その多くの技術が撮影時に使われる物でポストプロダクション時には、それらはすべて、動きがキャプチャーされたデータだけになるからだろう。
ようするにVFXアーティストである自分のところにそれらが届くときはいつもの異慣れたデータになっているのだ。

ほかには、あげるとすれば立体映像なので、左右の画像があるが、これはアバターの技術と言うよりも立体映画であればすべてあることだし、奥行きに気をつけるぐらいの違いしかない。
確かにアバターを皮切りに、ブームとなったが、あえて現在の新技術の成果でもない。




実際にアバターの撮影に使われた技術はどれうぐらい凄い物だったのだろうか？
上記のリンクにあるビデオを見ていると、ほとんどの技術は、どこかで見たことがある技術を寄せ集めたものだ。
もちろん、精度を高め、応答性をよくした物であろう。

キャメロンは、自分が何を欲しているかを知っており、開発担当者はその要求を満たすまでOKが出なかったという。キャメロンのもつ明確なビジョンは本編だけでなく、VFXの技術にもおよび驚くばかりである。

おそらく、制作に必要な技術をすべて洗い出し、それぞれのクオリティー・レベルがどの程度の物であるかを、明確に考え出していたのだろう。
そして、開発時に先端技術であった個々の技術の微調整を行い、目的の精度、応答性がでるように変えていったのだろう。

一連の情報から、アバターによるキャメロンの革新は、それまで存在はしていたが、ばらばらであったものを集めて、一つの新しい映画製作のパイプラインを作り上げたことだと自分は捉えている。
そしてこれは、映画製作の考え方を変える物で、ローランドエメリッヒが惹かれたものである。

マスコミや一般に騒いでいるのを見ていると、まるでキャメロンがすべて開発したかのように見えるが、そうではない。彼は個々の技術を一から開発したわけではない。
ばらばらに存在していた先端技術で使えそうなものを寄せ集めて、とことん調整して行ったのだと思う。
だからといって、凄くないわけではない、実際その部分が一番大変だと思う。
技術的に何が欲しいかというのを明確に把握してたからこそ、その方向に引っ張って行けたわけで、それだけでも十分驚異的だ。


アバターのパイプラインで用いられた技術には、いくつかの部分に分けられる。

１．パフォーマンス・キャプチャー
２．サイマルカム
３．フェイシャル・キャプチャー
４．フェイシャルパフォーマンス・リプレースメント
５．フィージョン3Dカメラ
（eiga.com 映画ニュースを参照しましたが元記事はなんか説明が混乱して不正確に思います。）http://news.livedoor.com/article/detail/3770950/


今回は、まずこのパフォーマンス・キャプチャーを考えていきたい。

まず誰もが思うのは、パフォーマンスキャプチャーは、モーションキャプチャーの精度を上げた物だろうということだ。
メイキングなどの映像を見た感じでは、モーキャプと違い、マーカーが小さくまた大量にあることから皮膚表面の動きをより細かに取得していることは想像がつく。

しかしここではいつものように言葉の定義から考えてみた。
モーション：運動、動作
パフォーマンス：演技、演劇

このことから考えるとモーションキャプチャーはたしかに演技の動きを捉えることは出来るが、関節の動きがメインで、演技とよぶにはおおざっぱすぎる。

演技とは、関節の動き、筋肉の動きを通して感情や表現を表に出すことである。
参照：演技の基礎
http://www.geocities.co.jp/CollegeLife-Library/3206/message1.html

たしかに関節の動きだけでもある程度は表現できる。
そこに何らかの表情の変化が加わることで、それは格段に違いが出て来る。
それを理解するにはスイスのパフォーマンス集団「ムメンシャンツ（Mummenschanz）」のパフォーマンスを見るとよくわかる。http://www.mummenschanz.com/
参照：Youtube
http://www.youtube.com/watch?v=xe95sn0cN3k

通常のマスクを付けていると、基本的には体の動きで見せることになる。
しかし、彼らの使うマスクは何らかの形で感情を表現することができる、これにより彼らの演技は一気におもしろい物に変わる。

ようするにパフォーマンス・キャプチャーとは動きを通してでてくる感情や考えまでも捉えることを意図していることがわかる。。
これは顔の表情だけでなく、感情の違いによる、筋肉の弛緩など多岐にわたる動きを捉える必要がある。
実際には、これらは機械的にみると皮膚表面の動きに過ぎないので、多くのサンプリングポイントの動きを捉えられるように小さく大量のマーカーを使う事になる。

実際には、ゼメキスの映画でパフォーマンスキャプチャーがつくられたわけだが、簡潔に言えば「フェイシャル・キャプチャー」と「モーション・キャプチャー」をあわせたものである。
参照：パフォーマンス・キャプチャー技術と3Dフュージョンカメラ（究極映像研究所）
http://bp.cocolog-nifty.com/bp/2006/12/jamescameronsav.html

通常のモーションキャプチャーとの違いはHideyuki Tamura氏による「VFX映画時評」に説明がある。
http://www.rm.is.ritsumei.ac.jp/~tamura/sfx/sfxv_content214.html
通常のモーション・キャプチャーなら数台から10数台程度のカメラで身体の主要な部分に取り付けた数十のマーカーを観測するところを，この映画では200台ものカメラを用意している。
マーカーは，ボディ部に約60個に対して，顔面と頭皮には153個も着けてデータを計測している。表情から指先までしっかりと観測し，俳優の微妙な演技をCGキャラに伝えることができるので，これを「パフォーマンス・キャプチャー」と呼んでいる。



「ユナイティッド・シネマ」に掲載されたポーラ・エクスプレスの記者会見を抜粋したい。
Q3.（監督へ）100年後にはどのくらいの撮影規模の映画が出てくると思う?
A. もっともっとシンプルになるんじゃないかな。フィルムはなくなり全てがデジタル化しているだろうね。『ポーラー・エクスプレス』で使った技術はまだまだ赤ちゃんみたいなものだよ。

http://www.unitedcinemas.jp/catch-up.php?c=64
ポーラ・エクスプレスは2004年。アバターの撮影が開始されたのが2008年4月で2009年1月に撮影が終っている。撮影開始された2008年4月には、すべての技術が一通り確立されていたはずなので、ポーラエクスプレスから少なくとも4年は経過していることになる。
まだゼメキスが言うように100年経たずして、パフォーマンスキャプチャーの技術も向上し、全てがデジタル化している。



現在の映画ではパフォーマンス・キャプチャーは小さなマーカーを付けたスーツがつかわれているが、研究段階のものでは、マーカーを使用しない物など様々な物が存在する。

ブログ：「TEDのおもちゃ箱」の「シーグラ日記2008　8月15日」にその詳細説明があったので、引用させていただきました。

●Performance Capture
Data-driven Modeling Skin and Muscle Deformation
モーションキャプチャデータから動きによる身体の震えるダイナミックス表現を生成する事例です。モーションキャプチャでは、格子状にマーカーを配置しています。モーションキャプチャシステムを使用した、動的３Dデジタイザといった感じです。
取得したデータを17の部分に分割し、この動きからスケルトンを生成して、キャラクタのメッシュをアニメーションします。この結果に加えて、格子状のマーカーから肉体の揺れを取得し、局部的な変形表現を行っています。筋肉の表現をRIGで表現する手法とはまた別のアプローチですね。デジタイズ的なモーションキャプチャシステムの使い方が面白いです。

Articulated Mesh Animation from Multi-view Silhouettes
複数のビデオカメラから収録した画像を基に、キャラクタメッシュやスケルトンを生成するモーションキャプチャです。あらかじめ、リファレンスとなるテンプレートポーズを作成して、取得しきれない部分を補っています。またアウトラインによる、形状の補完を行って、ディティールの精度を上げています。こうしたマーカレスのモーションキャプチャは今後、より精度を高めることによって、色々と可能性が期待できると思います。

Performance Capture from Sparse Multi-view Video
カメラから取得した点群を基にトラッキングを行い、動きを生成するモーションキャプチャです。ディティールのついたオブジェクトも一緒に得ることが出来るという点が特徴です。メッシュ取得向けにハイレゾリューション、トラッキング用にローレゾリューションといったように目的に応じて使用するデータを取得しています。
http://www.mpi-inf.mpg.de/resources/perfcap/

Markerless Garment Capture
これもマーカーレスのモーションキャプチャシステムです。こちらは衣類に限定しています。欠損した部分をいかに補かについて研究が行われています。この例では、取得したメッシュに対して、リファレンスポイント（首、裾、腕）を基にマッピングを行い、どのように欠損しているのかを分析することで、欠損部分を補おうとしています。裾や袖口などはマッピングを行ったジオメトリを参照して、再構築されています。
http://www.youtube.com/watch?v=9TQvPcJ25Jk

（2010年2月27日　追記）
飲み会でDDでTDをしている方から、アバターのパフォーマンス・キャプチャーは、ベオウルフのものとは全く違うシステムである。
また、CGにおいても作り込みがすごいので、管理して仕上げていくのはそれはそれで大変Dataだろうというお話を伺いました。