Sono stati creati molti rig di telecamere folli per catturare video spaziali completi. Ricordo una conversazione a Meta che era fondamentalmente "ci concentreremo il più possibile sulla visione computerizzata geometrica classica prima di esaminare gli algoritmi di apprendimento automatico", e io ero favorevole a quella direzione. Era molti anni fa, quando l'apprendimento automatico sembrava ancora un'alchimia imprevedibile, e naturalmente vuoi massimizzare l'uso della verità di base! Un grande sforzo ingegneristico è stato dedicato alla calibrazione delle telecamere, alla sincronizzazione e all'elaborazione dei dati, ma non ha mai realmente realizzato la visione. Non importa quante telecamere hai, qualsiasi oggetto in movimento complesso avrà aree occluse, e i "buchi nella realtà" si notano nettamente per un osservatore che non si trova esattamente in uno dei punti della telecamera. Anche quando hai una buona visibilità, le ambiguità nella fotogrammetria multi-camera rendono le cose meno precise di quanto vorresti. Ci sono stati anche alcuni esperimenti per vedere quanto bene potessi ricostruire la scena 3D dalle telecamere Quest utilizzando il calcolo offline, e la risposta era ancora "non molto bene", con superfici piuttosto irregolari. Molte ricostruzioni 3D sembrano fantastiche mentre scorrono nel feed sul tuo telefono, ma non così buone se ingrandite in un rendering VR completamente immersivo e messe a confronto con una foto tradizionale di alta qualità. Hai davvero bisogno di forti prior per guidare il problema di adattamento e riempire i gap di copertura. Per le scene architettoniche, puoi ottenere qualche vantaggio da semplici prior planari, ma l'IA generativa moderna è il prior definitivo. Anche se i rig di telecamere folli avessero pienamente realizzato la promessa, non avrebbero comunque abilitato un buon ecosistema di contenuti. YouTube non avrebbe avuto successo se ogni creatore avesse bisogno di una telecamera RED Digital Cinema. La generazione di foto stereoscopiche 3D (piuttosto buona!) in Quest Instagram è un primo passo verso il futuro. Ci sono percorsi verso video stereo e 6DOF statici, e poi eventualmente verso video 6DOF. Rendi tutto immersivo, poi consenti una regolazione su misura dei media consapevoli dell'immersione.