Er zijn veel gekke camera-opstellingen gemaakt voor het vastleggen van volledige ruimtelijke video. Ik herinner me een gesprek bij Meta dat in feite ging over "we gaan zo hard mogelijk leunen op klassieke geometrische computer vision voordat we naar machine learning-algoritmen kijken", en ik was ondersteunend aan die richting. Dat was vele jaren geleden, toen ML nog aanvoelde als onvoorspelbare alchemie, en natuurlijk wil je je gebruik van de grondwaarheid maximaliseren! Er is veel hardcore engineering-inspanning gestoken in camera-calibratie, synchronisatie en gegevensverwerking, maar het heeft nooit echt de visie waargemaakt. Hoeveel camera's je ook hebt, elk complex bewegend object zal occlusiegebieden hebben, en "gaten in de realiteit" vallen sterk op voor een kijker die niet precies op een van de camerapunten staat. Zelfs wanneer je goede zichtbaarheid hebt, maken de ambiguïteiten in multi-camera fotogrammetrie dingen minder precies dan je zou willen. Er waren ook enkele experimenten om te zien hoe goed je de 3D-scène reconstructie van de Quest-camera's kon maken met offline berekeningen, en het antwoord was nog steeds "niet erg goed", met behoorlijk hobbelige oppervlakken. Veel 3D-reconstructies zien er geweldig uit terwijl ze voorbij scrollen in de feed op je telefoon, maar niet zo goed als ze worden vergroot tot een volledig meeslepende VR-rendering en in contrast worden gesteld met een traditionele foto van hoge kwaliteit. Je hebt echt sterke priors nodig om het fittingprobleem aan te sturen en de dekkingstekorten op te vullen. Voor architectonische scènes kun je wat voordeel halen uit eenvoudige vlakke priors, maar moderne generatieve AI is de ultieme prior. Zelfs als de gekke camera-opstellingen volledig aan de belofte zouden voldoen, zouden ze nog steeds geen goed content-ecosysteem mogelijk maken. YouTube zou niet zijn geslaagd als elke maker een RED Digital Cinema-camera nodig had. De (best goede!) stereoscopische 3D-fotogeneratie in Quest Instagram is een eerste stap naar de toekomst. Er zijn paden naar stereo video en 6DOF statisch, en uiteindelijk naar 6DOF video. Maak alles meeslepend, en laat dan op maat gemaakte afstemming van meeslepende media toe.