散らかった部屋はあなたと注目を奪い合い、たいてい勝ちます。視聴者は棚を文章のように読むからです。映画やスタジオ写真はこれを光学で解決します。大きなレンズを開放で使えば、ピントの合う層が薄くなり、背景は柔らかな色に溶けます。スマホには正直なところそれができません。レンズは小さく、被写界深度は深く、観葉植物もドアも洗濯物も、あなたの顔と同じだけ鮮明に写ります。背景を柔らかくしたいなら、ソフトウェアが柔らかくするしかありません。つまりソフトウェアが毎フレーム、どのピクセルがあなたで、どのピクセルが部屋なのかを判定する必要があります。この判定こそが機能のすべてであり、頼る前に理解しておく価値があります。
判定を行うのは、端末上で動く人物セグメンテーションのモデルです。フレームごとに、各ピクセルが人物に属する確率をピクセル単位で推定し、その結果がマット — あなたの形をした型紙です。型紙の後ろにあるものはぼかしたり差し替えたりでき、内側は手つかずのまま残ります。ここで不要なものに注目してください。緑背景です。クロマキーは色で動きます。壁を均一な緑に塗れば、緑のものがすべて透明になる仕組みなので、照明と距離と、あなたの持っていない壁が要ります。セグメンテーションは代わりに形と質感で動きます。モデルは、任意の部屋を背にした人間がどう見えるかを学習済みです。だから寝室でも機能し、だから失敗のしかたもああいう見た目になるのです。
失敗は予測可能で、先に知っておくのがフェアです。最難関は髪です。一本の毛はピクセルより細いので、髪を通るマットの縁は常に近似です。ぱっと見はきれいでも、目を凝らせば見えます。次は暗さです。センサーノイズで輪郭が揺らぎ、境界の見えないモデルは境界に沿って切れません。速い動き、顔の近くで振った手、フレームに半分入ってきた二人目 — どれも数フレームのあいだ型紙を揺らします。道具の差が出るのはその後です。Talk2Cameraは端末がきれいなマットを作れたかを確認し、作れなかったときは元の背景のまま書き出しを完了して、そのことを伝えます。公開後に気づくチラつく縁ではなく、正直なそのままの動画です。
型紙の後ろに置けるのはぼかしだけではありません。背景を色や写真に差し替えることもできます。色のうち二つは特定の仕事のためにあります。放送用グリーンと放送用ブルーです。動画を別の場所で仕上げるつもりなら、均一な緑を背に自分を書き出せば、デスクトップ編集ソフトのキーヤーに、クロマキーがずっと欲しがっていた理想の壁をそのまま渡せます。あとの細かい仕事は、スマホが約束すべきでない精度で向こうの道具がやってくれます。どちらの道でも、一つのことが最初から最後まで変わりません。効果は書き出し時に適用され、元の録画には決して手が入りません。ぼかしを試し、写真に替え、気が変わったら無加工のコピーを書き出す — 下にあるテイクは撮ったときのままです。実験は何も失いません。