Andrew Ng ha appena rivelato perché le aziende di AI che investono di più nel problema perderanno. Il vincitore della corsa all'intelligenza non utilizzerà il maggior numero di risorse computazionali. Sprecherà il meno possibile. Ng: “La maggior parte dei tuoi dati ad alta dimensione si trova su uno spazio a bassa dimensione. È semplicemente un dato di fatto.” Ecco cosa significa in pratica. Hai un dataset a 10.000 dimensioni. Ogni dimensione trascinata attraverso ogni calcolo. Ogni ciclo di addestramento che trasporta peso morto che il modello non utilizzerà mai. Ng: “Stai portando in giro questi esempi a 10.000 dimensioni durante tutto il tuo processo di addestramento.” Quella bloat non è solo inefficiente. È una tassa su ogni calcolo che esegui. Larghezza di banda della memoria. Larghezza di banda della rete. Velocità computazionale. Tutto ciò viene consumato da dimensioni che non contribuiscono affatto all'intelligenza. Contribuiscono solo al rumore. L'intuizione che separa gli architetti dalla corsa agli armamenti: quel dataset a 10.000 dimensioni è quasi interamente catturato da uno spazio molto più piccolo. Il segnale vive in una frazione dello spazio che stai pagando per elaborare. Comprimi. 10.000 dimensioni ridotte a 1.000. Ng: “Puoi eseguire il tuo algoritmo di apprendimento su un insieme di dati a dimensione molto più bassa e potrebbe essere molto più efficiente.” Stessa hardware. Stesso budget. Una frazione dell'attrito. La forza bruta è la strategia di chi ha le tasche più profonde. La compressione è la strategia di chi comprende realmente il problema. Le aziende che padroneggiano questo non costruiscono solo modelli più veloci. Costruiscono modelli che trovano più verità in meno dati di quanto qualsiasi cosa che scala ciecamente potrà mai fare. L'intelligenza non è mai stata una questione di elaborare tutto. Si tratta di sapere cosa tagliare.

La Dott.ssa Fei-Fei Li ha appena evidenziato il più grande punto cieco dell'intero settore dell'AI. Abbiamo costruito metà dell'intelligenza umana. E l'abbiamo chiamata traguardo. Li: “Se guardi all'intelligenza umana, si riduce fondamentalmente a due categorie.” La prima categoria è il linguaggio. Ragionamento simbolico. Comunicazione. La capacità di pensare in parole e astrazioni. Questo è ciò su cui ogni grande laboratorio di AI ha lavorato nell'ultimo decennio. La seconda categoria è quella che l'industria ha quasi completamente ignorato. Li: “La chiamiamo in AI intelligenza spaziale.” Come gli esseri umani e gli animali percepiscono, navigano e interagiscono con il mondo fisico tridimensionale. Come raggiungiamo gli oggetti. Come ci muoviamo nello spazio. Come costruiamo e manipoliamo la realtà fisica. Dalla pittura di capolavori alla costruzione delle piramidi, l'intelligenza spaziale non verbale è ciò che in realtà plasma il mondo. Il linguaggio descrive la realtà. L'intelligenza spaziale agisce su di essa. E il divario tra queste due cose è il divario tra un chatbot e un robot. Li: “Quando questa tecnologia sarà pronta, la rivoluzione robotica avrà inizio. Stiamo già vedendo questa tendenza.” Ogni robot è un agente in movimento. Ogni agente in movimento richiede intelligenza spaziale per funzionare nel mondo reale. I robot umanoidi attualmente impiegati nelle fabbriche stanno raggiungendo il limite di ciò che i modelli linguistici da soli possono alimentare. L'intelligenza spaziale è la chiave. Ma Li non si è fermata alla robotica. Li: “Da un punto di vista geopolitico, questa è parte della tecnologia che va direttamente nelle armi.” Sciami di droni autonomi. Navigazione sul campo di battaglia. Acquisizione di obiettivi fisici senza supervisione umana. Ogni applicazione militare dell'AI che opera nel mondo reale si basa sull'intelligenza spaziale. La nazione che padroneggia la transizione dal testo statico alla percezione tridimensionale dinamica non vince solo la corsa al software. Comanda il campo di battaglia fisico. La corsa agli armamenti dell'AI è appena uscita dal data center. Ora opera in tre dimensioni.

Elon Musk ha appena detto che la comunità AI sta fraintendendo la matematica della superintelligenza di due ordini di grandezza. Non leggermente errata. Non direzionalmente sbagliata. Cento volte errata. Musk: “La maggior parte delle persone nella comunità AI non capisce ancora. Il potenziale di densità di intelligenza è di gran lunga superiore a quello che stiamo attualmente vivendo.” Tutti sono concentrati sulla corsa all'hardware. Data center più grandi. Più GPU. Centrali nucleari costruite per alimentare il calcolo. Quella è metà dell'equazione. Musk: “Penso che siamo lontani di due ordini di grandezza in termini di densità di intelligenza per gigabyte. Questo è solo un miglioramento algoritmico. Stessa macchina.” Leggi attentamente. Non più hardware. Non più energia. Non più capitale. La stessa macchina. Cento volte più intelligente. Solo attraverso il software. Questo è prima che i miglioramenti hardware si accumulino sopra di esso. Musk: “E i computer stanno migliorando. Ecco perché penso che sia un miglioramento di 10 volte all'anno. 1.000 percento.” Un tasso di crescita annuale composto del mille percento in intelligenza grezza. Un sistema che diventa 10 volte più capace ogni dodici mesi non segue una curva lineare. Non segue una curva esponenziale che l'intuizione umana può tracciare. Segue una curva che l'intuizione umana non può simulare affatto. Nel primo anno è 10 volte più intelligente. Nel secondo anno è 100 volte. Nel terzo anno è 1.000 volte. A quel punto, il divario tra quel sistema e un cervello umano è più ampio del divario tra un cervello umano e una calcolatrice. Questa è la matematica che il pubblico non sta considerando. I modelli non stanno solo migliorando. Si stanno accumulando su se stessi a un tasso che rende ogni curva tecnologica precedente piatta. Musk: “Il potenziale di densità di intelligenza è di gran lunga superiore a quello che stiamo attualmente vivendo.” Non ci stiamo avvicinando alla superintelligenza nel lasso di tempo che la maggior parte delle persone immagina. Siamo già all'interno della curva.