30年越しの悲願！VFXの難題「グリーンバック合成」を解決した驚きの方法 [動画]

VFXの歴史の中で長年エンジニアやアーティストを悩ませてきた「グリーンバック（グリーンスクリーン）」に関する課題。30年という膨大な年月を費やして、ついにそのブレイクスルーを見つけたという渾身の動画です。映像合成のクオリティを劇的に変える、長年の知恵が詰まった解決策が紹介されています。

数年前にDisneyのナトリウムランプ技法について公開された動画で、Paul Debevecが似たような前提でデータセットを作ることを検討してるって言ってたんだよね。完璧にマスクされたリファレンスを大量に撮影して、より精度の高いキーイングができるようにモデルを学習させるっていう。だから、Corridorが代わりに合成データ（synthetic data）を使ってこれに取り組んでるのは興味深いね。

コミュニティのおかげでハードウェアの要求スペックは劇的に下がったけど、今のところNvidiaのカードしかサポートされてないっぽい。AMDユーザーの俺はまだお預け状態だよ :(

かなり印象的な結果だね！誰かがこれ用のGUIまで作ったみたい：https://github.com/edenaion/EZ-CorridorKey 残念ながらまだPythonだけど。

4:10から5:00あたりでナトリウムランプとDisneyの独占使用権について話してるね。読んだ限りだと、作り方はトレードシークレット（営業秘密）らしくて特許は取ってないみたい。1950年代のものを再現するのがそんなに難しいなんて変な感じがする。あと、Disneyが秘密にしてたせいで、劣った技術を使わざるを得なかった人たちがどれだけの時間を無駄にしたんだろう。動物とかオブジェクトを1フレームずつ背景から切り出すなんて、気が遠くなるほど退屈な作業だよ。

Corridor Keyと従来のキーヤーを比較してるこの動画もチェックしてみて：https://www.youtube.com/watch?v=abNygtFqYR8

まだバグがあるね。24:12のところで、水が入ったグラスが背景のチェッカーパターンを歪ませてない。

これの悲しいところは、撮影現場で「ポスプロで直せばいい（fix it in post）」って言っちゃう制作チームのせいでポスプロ時に問題が起きること。照明が適切じゃないグリーンバックの現場にいたことがあるんだけど、ガッファーがメーターで計測して「照明はOKだ」って言うのを横で見てた。波形モニター（waveform）をつけたらムラがあったから指摘したんだけど（カメラ部門がガッファーに口出しするのは大抵嫌がられる）、彼は反論して、また計測し直して「大丈夫だ」って繰り返した。画面を彼の方に向けて明らかにムラがあるところを見せたら、3回目の計測でやっとライトを調整し始めたよ。いざポスプロに素材が回ったら、照明が均一だったおかげでキーイングがめちゃくちゃ楽だってFXチームが言ってた。問題は、現場にいるほとんどの人がポスプロで何が起きてるか分かってないこと。予算がある現場なら、ポスプロのスーパーバイザーが立ち会って「ポスプロで直す」のを最小限にする。予算がないと、この動画の最初の30秒みたいな状況になる。ライト1灯で背景を照らして、光の減衰（falloff）も丸見えだし、袋から出して10分前のスクリーンのシワで影ができてる。みんなグリーンバックにどれだけの光が必要か分かってないんだよね。演者を壁から十分離して、グリーンの照り返し（green spill）が肌に乗らないようにするスペースも確保できてない。要するに、制作段階で手抜きした分を安く済ませるために、ポスプロで解決策を作ったってこと。

前後のフレーム間で結果が安定してるのは、ただの偶然なのかな？

代替案として、決まった順序で色が変わるスクリーンを試した人はいないのかな。色を変化させるスクリーンを使えば、「緑のスクリーンの前で緑のシャツを着てる」問題が解決するから、被写体を切り出すのがもっと楽になるかも。タイムサンプリングを使えば、フルスペクトルの反応が得られるから、スクリーンから被写体への照り返しも補正できるかもしれない。あと、背景に偏光ライトを使うのもありかも。

LiDARを使って、対象物までの距離を測って切り出すのを試した人はいる？