Jeg forventet at dette skulle komme: OpenAI kunngjorde at de har utviklet en høyytende miniversjon av GPT-o4 som vil kjøre lokalt på en bærbar datamaskin eller en telefon. Dette vil flytte mye slutning fra datasentre og over på våre lokale maskiner. Når modellen ikke kan svare på et spørsmål lokalt, kan den si "vent bare ett øyeblikk mens jeg konfererer med bikubesinnet ..." eller hva som helst og gå gjør slutning i skyen. Stort spørsmål for de av oss i elektrisitets- og datasenterverdenen: hvordan vil dette påvirke datasenterutbyggingstrender, deres etterspørsel etter elektrisitet og lokasjoner de er i stand til/villige til å bygge? Min hypotese: det setter et innhugg i etterspørselen etter inferens ved sentraliserte datasentre, samtidig som det øker graden av latens som inferensdatasentre kan håndtere (fordi ofte nødvendige oppgaver med lav latens vil bli utført lokalt).