[&] SIGGRAPH 2014 - Capturing the Teenage Mutant Ninja Turtles

Capturing the Teenage Mutant Ninja Turtles




Pablo Helman, Visual Effects Supervisor
Robert Weaver, Associate VFX Supervisor
Tim Harrington, Animation Supervisor
Michael Koperwas, Creature CG Supervisor
Kiran Bhat, R&D Lead

マイケルベイ監督の、忍者タートル実写版（日本では12月に公開予定）

●パフォーマンスキャプチャー関連
通常のモーションキャプチャスーツに、マーカーが張り巡らさされた亀の甲羅をしょって演技。
720Pハイビジョン解像度のフェイシャルキャプチャ用カメラを縦使いで左右２台装着。顔には多数のマーカー。
（キャプチャカメラには ONLINE かどうか遠目でも分かるように LED シグナルがついている）
エレベータのシーン、ステージキャプチャは、4人一緒に取得。

●フェイシャル関連
Accurately capture the actor's performance
BUILD a rig for the actore
Transfer the performance to the turtle
Keep them in sync
Profit?

4D Capture とよばれる、ディズニーが開発した、時間も含めたキャプチャ方式。
Disney Research の Medusa
映画ではスキャンした様々な表情から、セレクトして利用。
スキャンデータは、リグよりも重要。
人間の顔のパーツの比率と、亀のキャラクタの顔の比率は大きく違い、比率を引き延ばして利用。
人間の顔キャプチャーの素材を元に、亀の時の表情に当てはめた時の違いや違和感を調整。
眼やまぶた、眉の表情や、瞬きの表現が難しい。
亀の眼に当てはめた時も、ある一点、どこを注視しているのか顔を見てわかるように。

●オンセットでのキャプチャ
Significant head motion - simulataneous dialogue and action
Dynamic lighting
VIdeohawk Head mounted camera を利用
Stable hemmets and maskks
Flea3 and custom hard drive を利用
DNxHD:220 10bit で撮影。RAWは無理。
カスタム LUT を利用

●R&D 関連
MUSE Facial performance capture システムに関して
Facial Solving
Match actor's rig to 3D ( from dual helmet cameras )
Automatic rigid solves
guided optimization
Scientific vilidation

Retargeting
Sync'd rigs between actor and creature
Tranfrer solved curves from actor's performance
Fully editable and complimentary

Challenges
Noisy footage
Actor/Creature rig discrepancy
New team ( 10 artists + 4 engineers )

Fast dialogue
キャプチャで取得したメッシュに、歯や眼と瞳、耳の3Dモデルを当てはめる。
Solver steps
キャラクタの平常状態が、亀キャラクタのどのような顔の状態に当てはめるか調整。
怒りの表情の時、唇の形がどのようにするかなどを対比して調整。

Timing
Franken-shots
The elevetor sequence.
Handling rigid erros（口周辺が伸びすぎる）の修正

●アニメーションに関して
IMOCAP
Optical Motion Capture
Stunt Mocap
Facial Motion Capture
VIdeo Reference
Keyframe Animation

Raph, Mikey, Don , Leo と俳優の身長に合わせたキャラクタの身長。
全身三角形マーカの載ったスーツと、亀の甲羅をしょっての演技。
（ヘルメットの上部にリファレンス球が装着されている）
口の動き、表情ががキャラクタにとって自然となるように。
キャプチャしたデータを平滑化し、キーフレームでも調整。
フェイシャルキャプチャ用カメラを装着しないシームあり、
そのような場合は映像をリファレンスにキーフレームでアニメーション作成。
格闘シーンは、サーカスの空中ブランコや、俳優達の演技をリファレンスに。

●VFX 関連
LookDev
テクスチャ、マテリアル、クロースの見栄えを背景環境の中で調整、
暗く汚れた感じから、雪の中のシーケンス用のものも。

Environment Work
LAIR DOJO 地下の道場シーン
SNOWSCAPE 雪の中のチェイスシーン約10分
NEWYORK CITY タイムズスクエア周辺のビルの表現