Mi aspettavo che questo stesse per arrivare: OpenAI ha annunciato di aver sviluppato versioni mini ad alte prestazioni di GPT-4 che funzioneranno localmente su un laptop o un telefono. Questo sposterà gran parte dell'inferenza dai data center alle nostre macchine locali. Quando il modello non riesce a rispondere a una domanda localmente, può dire "aspetta un momento mentre consulto la mente collettiva..." o qualcosa del genere e andare a fare inferenza nel cloud. La grande domanda per noi nel mondo dell'elettricità e dei data center è: come influenzerà questo le tendenze di costruzione dei data center, la loro domanda di elettricità e le località in cui possono/vogliono costruire? La mia ipotesi: riduce la domanda di inferenza nei data center centralizzati, aumentando al contempo il grado di latenza che i data center di inferenza possono gestire (perché i compiti che richiedono bassa latenza saranno eseguiti localmente).