完全な空間ビデオをキャプチャする目的で作成されたクレイジーなマルチカメラリグがたくさんあります。 Metaでの会話は、基本的に「機械学習アルゴリズムを検討する前に、古典的な幾何学的コンピュータービジョンに可能な限り頼るつもりだ」というもので、私はその方向性を支持していました。それは何年も前のことで、ML はまだ予測不可能な錬金術のように感じられ、もちろん、グラウンド トゥルースを最大限に活用したいと考えています。 カメラのキャリブレーション、同期、データ処理にはハードコアなエンジニアリングの努力が費やされましたが、ビジョンを実際に実現することはできませんでした。カメラがいくつあっても、複雑な移動物体には遮られた領域があり、「現実の穴」は、カメラポイントの1つに正確にはない視聴者にははっきりと目立ちます。 視認性が良好であっても、マルチカメラ写真測量ではあいまいさがあるため、物事は思ったよりも精度が低下します。オフライン コンピューティングを使用して Quest カメラから 3D シーンを再構築できるかどうかを確認するための実験もいくつかありましたが、答えは依然として表面がゴツゴツしていて「あまり良くない」というものでした。多くの3D再構成は、携帯電話のフィードをスクロールすると素晴らしく見えますが、完全に没入型のVRレンダリングに膨らみ、高品質の従来の写真とは対照的に、それほど良くありません。 フィッティングの問題を解決し、カバレッジのギャップを埋めるには、強力な事前確率が本当に必要です。建築シーンの場合、単純な平面事前確率からある程度の利益を得ることができますが、最新の生成 AI は究極の事前確率です。 たとえクレイジーなカメラリグが約束を完全に果たしたとしても、それでも優れたコンテンツエコシステムは実現できなかったでしょう。すべてのクリエイターが RED Digital Cinema カメラを必要としていたら、YouTube は成功しなかったでしょう。 Quest Instagram の立体 3D 写真生成は、未来への小さな一歩です。ステレオビデオと6DOF静的、そして最終的には6DOFビデオへのパスがあります。 すべてを没入型にし、没入型を意識したメディアのオーダーメイドのチューニングを可能にします。