Når du virkelig tror at noe skal fungere, gjør det det vanligvis.

Jeg fant en intern presentasjon fra 2018 som kunne vært laget i går. Dette var den desidert vanskeligste tiden å bygge Runway. Ingen brydde seg egentlig om eller trodde på hva generative modeller kunne gjøre for kunst og media. Vi beskrev en fremtid som ikke ga mening for noen ennå. Likevel var det kanskje en av de mest interessante tidene, fordi du måtte bygge denne indre overbevisningen for å fortsette å jobbe jevnt og smertefullt for å få det til. Og i den prosessen, når ingen ser på, lærer du mest om hvordan du gjør alt.

Jeg tror ikke det noen gang har vært en tid hvor du har dette kaliberet av ingeniørarbeid, forskning og ressurser distribuert i denne skalaen spesifikt for å fremme historiefortelling. Noen av de absolutt smarteste hodene og de beste selskapene kaster seg ut i å finne opp nye teknologier for kunst og kreativitet.

Ganske bemerkelsesverdig ny opplåsing. Bruk et bilde som inneholder et bestemt kamera eller objektiv, og be Aleph om å vise videoen gjennom det objektivet: «Vis meg denne scenen tatt gjennom perspektivet til enheten i bildet»

En interessant observasjon jeg har lagt merke til nylig er hvordan noen mennesker som prøver nye AI-modeller for første gang, spesielt video- og bildegeneratorer, ofte får umiddelbar frustrasjon fordi de forventer at de skal fungere som søkemotorer eller chatbots. De antar at du skriver tre ord og får nøyaktig hva som er i hodet ditt. Men disse verktøyene har sin egen interne logikk, sine egne særegenheter og feilmoduser. Som ethvert kreativt medium krever de omfattende eksperimentering for å forstå hva de kan og ikke kan gjøre, hvilke spørsmål som faktisk fungerer kontra hvilke som høres ut som de burde fungere. Du må utvikle en intuisjon for deres spesifikke begrensninger og evner.

Her er to måter å skape denne effekten på: Alternativ 1: Bevegelsesspor for å analysere kamerabevegelsen og romlig posisjonering gjennom hele bildet. Ta HDR-bilder av lysmiljøet for å gjenskape lysforholdene nøyaktig. Lag en detaljert 3D-modell av actionfiguren med riktig teksturering og materialer. Implementer presis lystilpasning mellom den digitale modellen og det praktiske miljøet. Sørg for at skygger, refleksjoner og fargetemperatur stemmer overens med scenen. Til slutt, gjør omfattende fargekorrigering og gradering for å integrere den oppskalerte figuren i opptakene, matche kontrast, metning og generell fargepalett. Alternativ 2: Be Aleph om å gjøre det.

Endring er den eneste konstanten

Runway Aleph kan nøyaktig erstatte, omstrukturere eller helt gjenskape bestemte deler av en video, noe som gjør det mulig å raskt tenke og gjenta nye konsepter med eksisterende opptak. Alt du trenger å gjøre er å fortelle Aleph hva du vil.

Kan også bruke den til å omforme bildet og holde kameraet i bevegelse: Beskjær og omkomponer videoen for å matche området inne i det røde rektangelet, og fjern det røde rektangelet helt. Behold den samme kamerabevegelsen.

Et annet interessant funn: Du kan bruke bildereferansen i Runway til å ramme inn kamerabevegelser. «En jevn filmatisk innskyvning fra det nåværende perspektivet mot området som er skissert av det røde rektangelet, og ender med at området fyller hele bildet. Fjern det røde rektangelet helt."