[&] SIGGRAPH 2015 - Capturing the World

#SIGGRAPH2015J Capturing the World

■ Panocam & Postvis for the Chicago Chase in "Jupiter Ascending"
double negative
PanoCam という6台のカメラを取り付けたリグを用意し、
ヘリコプターに搭載、街の様子をキャプチャリングした。
ステッチすると 12K 解像度の、X字型の映像になる。
その中から必要な映像を切り取って利用。
空中を飛ぶ人物はグリーンバックで撮影

カメラパスのプレビズ、ヘリコプターのパスは、
Google Maps でプランニング。
NUKE でリタイミング、リレンズ、マッチムーブ、

レンズ歪みがあるので、ステッチングツールで吸収
カスタム NUKEスクリプトで、完璧なステッチが出来るように
カット無しで1ショットの空中シーン、映像が続いているのが一番難易度が高かった

cf. http://www.fxguide.com/featured/shooting-and-stitching-making-jupiter-ascendings-chicago-chase/

■ dneg's postvis pipeline
we have to support:
multiple source images (and formats)
remote roto, prep, and matchmoe
creative and iterative virtual cinematography

撮影時にキャリブレーション用のカラーパレットを撮影して色合わせ。
dneg では絶賛人材募集中！

■Roundshot Pipeline at MPC for "Godzilla"

MPCバンクーバーより。世界各地にスタジオあり。

What's the problem?
　背景のキャプチャに100枚ほどの写真を組み合わせることに...
　Editorial, Environments , Lighting , Compositing 様々役目の人が利用する

Existing solutions
　タイヤに iPHone を取り付けて撮影できるか試したり、
　Spheron というHDR撮影できるパノラマカメラを試したり、
　Panono というボール形状のカメラ
　Roundshot VR Drive www.roundshot.com というカメラを取り付けられるパノラマ撮影用のrigとSDKを活用

Ingestion of varying datasets
　撮影の順番、オーバーラップの度合い、撮影時間など、いろいろな課題が.
　50%ぐらいオーバラップさせるのが良い結果に
　Bracketing, XML output, Dgrees captureed , Slates, Macbeth などなど

Assetization and visibility in the pipeline - Asset Management
　ネットワーク上に置いて、様々な用途に使えるように
　一個の素材にまとめる
　Roundshot の XML に撮影時の条件が記録されている
　コマンドラインツールは RoundShot Class を Python でコール

Visibility in the Pipeline - Dailied Contact sheets and Stitches
　ToolVR? のプラグイン活用
　
Stitching and final product generation going forward
- Addition of other stitching software
- Creation of a user interface
- Six Packs and Projection setups
- Further automation of triage

■Blendshapes From Commodity RGB-D Sensor
ハイエンドのものは Alexx Henry Studio , LightStaage で、
コンシューマーは Kinect, RealSense など手軽に
ビデオゲームや映画で多く使われるように。

シミュレーション、トレーニング、ゲーム、テレカンファレンスで使えるように
Rapid Avatar Project, Kinect を使った平易なスキャン。4分ぐらいで撮影できる。
Kinect で顔のキャプチャは 10秒くらい。でも簡単にアニメーションは出来ない。

Dynamic 3D Avatar Creation from Hand held video input
今年の SIGGRAPH の論文
コンピュータビジョンのアルゴリズムで顔を見つけ
複数方向の映像から、メッシュを生成、
テクスチャの作成は、1枚の画像だけでは欠けている部分が多いため、複数枚必要

Face scans -> independent geometry それぞれの顔でトポロジーが全然違う
顔の表情によって、目鼻の位置が異なる
顔のランドマークを特徴点として、2D and 3D warping
そこから、Facial Rig を構築。リアルタイム変換も。

■FlashMob: Near-Instant Capture of High-Resolution Facial Geometry and Reflectance
デジタルフェイスやはゲームや映画で多く使われるように。
Passive なシステムと Active なシステムがあり、長所短所がある。

Novel Capture System
ジオメトリと反射とを取得するシステム、
複数方向からのライトで細かなディテールを取得
機材は、デジタル一眼レフと、リンクフラッシュを活用
フラッシュを見てから 67ms で目をつぶるまでの猶予がある。
カメラのシャッターの方がフラッシュよりも速い
6回のフラッシュの間に24枚撮影
Specular 成分のみ抽出も