[&] SIGGRAPH 2014 - Meet Your New Production R&D Department

Meet Your New Production R&D Department

Paul Debevec
USC Institute for Creative Technologies

マトリックスからマレフィセントまで、銀幕のためのSIGGRAPHリサーチ
http://www.debevec.org/
http://gl.ict.usc.edu/

●Reflection Mapping
Blinn&Newell 1976 から始まり、
Miller and Hoffman 1984
Chou & WIlliams 1983
Flight of the Navigator 1986
Tarminator 2 (1991)

●Subsurface Scattering
Hanrahan and Krueger (SIGGRAPH1993)
Digital Michaelangelo Project (Lovoy 2001)
Photon Mapping (Jansen 1998)
Calibrated Material Measurement (Marscher 199?)

BRDF、BSSRDF 表現 SIGGRAPH2001
ILM and Weta で活用。ロードオブザリングや、スターウォーズなど。

Piecewise Smooth Surface Reconstrucsion (SIGGRAPH94)
Geri's Game (1998) Subdivision SUrfaces in Character Animation (SIGGRAPH 98)
Large Steps in Cloth Simulatoin (SIGGRAPH98)

Many Transition Paths from Research to Production
Papers
Software
Datasets
Shoft film...

FACADE: SIGGRAPH96
http://www.pauldebevec.com/Research/
Matrix の地下鉄ホームのシーンで活用。

タイムスイスの元ネタ。
Tim McMillan, Bath Academy of Art 1980's
Tim McMillan "time-slice" camera array 1995
BBCTomorrow's world 1993

JURASSIC PARK, ILM, 1993
IMAGE-BASED LIGHTING
http://www.pauldebevec.com/Probes/
RENDERING WITH NATURAL LIGHT SIGGRPAH98
FIAT LUX SIGGRAPH99
Real Steel HDRI ENvironment: Digital Domain
Markus Kurtz のパノラマ写真。
LIFE OF PI
The Jester (Mark Sagar Life F/X Inc.) SIGGRAPH99

Light stage1 の開発に。
LIGHT STAGE2 は Spiderman 2 (2004) Superman returns (2006) SonyImageworks で活用。
ビデオプロジェクターで球体状のバーチャルセットで人を囲むのがアイデアの発端。
18LEDs: 8RED, 5GREEN, 5BLUE, USBで 8bit RGB をコントロールできる素子を活用。
LIGHT STAGE 3 は、プログラムでコントロールできるように。
A lighting reproduction approach to live action compositing" (SIGGRPAH2002)
リファレンス球で計測したライティングの状況が LIGHT STAGEで再現できるように。

LIGHT STAGE 4 は、複数の人数が利用できるより巨大な環境を構築。
モーションコントロールカメラとも連動。
Eye Reflections ,
解像度が低い時には問題にならなかったが、
眼の中に沢山の光源が映り込んでしまう問題が出て来た。

BARCO の d-lite7 というLEDパネルアレイを試す。
LED Panel Light Stage Design
LEDパネルがどれぐらいの視野角で有効かテストし、
LEDパネルで構成された LIHGTSTAGE を構築。
WARNERBROTHERS/DIGITALDOMAIN の BENJAMIN BUTTON(2008)
the social network の映画でも LIGHTSTAGE が活躍。
双子がボートをこぐシーンなど。(双子のうち後ろの一人は、CGで顔を差し替えた人物）

Performance relighting and reflectance transformation with time multipliexed illumination (SIGGRAPH2005)
ハイスピードカメラを使った方法。
Face casting process (Courtesy Helmut Kungl, XYZRGB Corporation)
その他. EGSR2007

The Digital Emily Project (image matics)
http://gl.ict.usc.edu/Research/DigitalEmily/

Avatar (2009)
MALEFICENT の妖精キャラクタでも活用。
LightStage5 で撮影し、妖精キャラクタの製作に活用。

GRAVITY の撮影。
LIGHT STAGE6という巨大なライトステージを開発。
FYFEE, EUROGRAPHICS 2011
2010年3月ごろよりテストの俳優でテストを開始。
LEDパネルで四方を囲んだステージを用意して撮影。

Digital Ira プロジェクト
NVIDIA との協力。フェイシャルキャプチャの仕組みづくり。
Activition R&D, SIGGRAPH2013 で発表。

デジタルマイケルジャクソンのプロジェクト
ホログラムによる、共演も。

Notes to Researchers
Use the simplest way to explain what you've done.
Make convincing results. Make short films!
Note that a log of innovation happens in industry.
Making something work in production is a lot different than making it work for a SIGGRAPH paper.
An algorithm that automates five minites of artistry is less useful than a tool that empowers the artist.
Commercialize! (be up front about IP)
Be generous with credit!

Keep inspiring the community.
Point out the hard problems.
ENgage with researchers.
Host interns and visiting researchers.
Give feedback when you try something.
Publish at SIGGRAPH, collaborate with researchers.
Be generous with credit!