Dario Amodei ha detto al WEF che stava per pubblicare il seguito di Machines of Loving Grace. Sarà rilasciato oggi, e Axios ha avuto un'anteprima da Anthropic. Si intitola 'L'adolescenza della tecnologia: affrontare e superare i rischi dell'AI potente.'

Alcune citazioni: 'Credo che stiamo entrando in un rito di passaggio, sia turbolento che inevitabile, che metterà alla prova chi siamo come specie. L'umanità sta per ricevere un potere quasi inimmaginabile, e non è affatto chiaro se i nostri sistemi sociali, politici e tecnologici abbiano la maturità per gestirlo.'

"Siamo ora al punto in cui i modelli di AI stanno iniziando a fare progressi nella risoluzione di problemi matematici irrisolti e sono abbastanza bravi nella programmazione da far sì che alcuni dei migliori ingegneri che abbia mai incontrato stiano ora delegando quasi tutta la loro codifica all'AI. Tre anni fa, l'AI faticava con problemi aritmetici elementari e era a malapena in grado di scrivere una singola riga di codice. Tassi di miglioramento simili si stanno verificando in tutta la scienza biologica, finanza, fisica e una varietà di compiti agentici. Se l'esponenziale continua—cosa non certa, ma che ora ha un decennio di dati a supporto—non può passare molto tempo prima che l'AI sia migliore degli esseri umani in praticamente tutto. In effetti, quell'immagine probabilmente sottovaluta il probabile tasso di progresso. Poiché l'AI sta ora scrivendo gran parte del codice in Anthropic, sta già accelerando sostanzialmente il nostro progresso nella costruzione della prossima generazione di sistemi AI. Questo ciclo di feedback sta guadagnando slancio mese dopo mese e potrebbe essere solo a 1-2 anni da un punto in cui l'attuale generazione di AI costruisce autonomamente la successiva. Questo ciclo è già iniziato e accelererà rapidamente nei prossimi mesi e anni. Osservando gli ultimi 5 anni di progressi dall'interno di Anthropic e guardando come si stanno formando anche i modelli dei prossimi mesi, posso percepire il ritmo del progresso e il tempo che scorre."

'È un po' imbarazzante dirlo come CEO di un'azienda di AI, ma penso che il prossimo livello di rischio siano effettivamente le aziende di AI stesse. Le aziende di AI controllano grandi datacenter, addestrano modelli all'avanguardia, hanno la maggiore esperienza su come utilizzare quei modelli e, in alcuni casi, hanno contatti quotidiani e la possibilità di influenzare decine o centinaia di milioni di utenti. L'unica cosa che manca loro è la legittimità e l'infrastruttura di uno stato, quindi gran parte di ciò che sarebbe necessario per costruire gli strumenti di un'autocrazia di AI sarebbe illegale per un'azienda di AI fare, o almeno estremamente sospetto. Ma parte di esso non è impossibile: potrebbero, ad esempio, utilizzare i loro prodotti di AI per lavare il cervello alla loro enorme base di consumatori, e il pubblico dovrebbe essere all'erta rispetto al rischio che questo rappresenta. Penso che la governance delle aziende di AI meriti molta attenzione.'

"Come suggerito dalla frase "paese dei geni in un datacenter", l'AI sarà in grado di una vasta gamma di abilità cognitive umane—forse tutte. Questo è molto diverso dalle tecnologie precedenti come l'agricoltura meccanizzata, i trasporti o persino i computer. Questo renderà più difficile per le persone passare facilmente da lavori che vengono sostituiti a lavori simili per cui sarebbero adatti. Ad esempio, le capacità intellettuali generali richieste per lavori entry-level in, diciamo, finanza, consulenza e diritto sono abbastanza simili, anche se le conoscenze specifiche sono piuttosto diverse. Una tecnologia che interrompesse solo uno di questi tre permetterebbe ai dipendenti di passare agli altri due sostituti vicini (o per gli studenti universitari di cambiare indirizzo). Ma interrompere tutti e tre contemporaneamente (insieme a molti altri lavori simili) potrebbe essere più difficile per le persone da adattare. Inoltre, non è solo che la maggior parte dei lavori esistenti sarà interrotta. Quella parte è già accaduta—ricorda che l'agricoltura era una percentuale enorme dell'occupazione. Ma i contadini potevano passare al lavoro relativamente simile di operare macchine di fabbrica, anche se quel lavoro non era comune prima. Al contrario, l'AI sta sempre più corrispondendo al profilo cognitivo generale degli esseri umani, il che significa che sarà anche brava nei nuovi lavori che verrebbero normalmente creati in risposta all'automazione dei vecchi. Un altro modo per dirlo è che l'AI non è un sostituto per lavori umani specifici, ma piuttosto un sostituto generale del lavoro per gli esseri umani."

'Ad esempio, nella codifica, i nostri modelli sono passati dal livello di "un programmatore mediocre" a "un programmatore forte" fino a "un programmatore molto forte." Stiamo ora iniziando a vedere la stessa progressione nel lavoro d'ufficio in generale. Siamo quindi a rischio di una situazione in cui, invece di colpire persone con competenze specifiche o in professioni specifiche (che possono adattarsi attraverso la riqualificazione), l'AI colpisce persone con determinate proprietà cognitive intrinseche, vale a dire una minore capacità intellettuale (che è più difficile da cambiare). Non è chiaro dove andranno queste persone o cosa faranno, e sono preoccupato che possano formare una "sottoclasse" disoccupata o a salari molto bassi."

Anthropic prevede di mantenere i dipendenti anche dopo che "non forniscono più valore economico nel senso tradizionale." "In terzo luogo, le aziende dovrebbero pensare a come prendersi cura dei propri dipendenti. A breve termine, essere creativi nel trovare modi per riassegnare i dipendenti all'interno delle aziende potrebbe essere un modo promettente per evitare la necessità di licenziamenti. A lungo termine, in un mondo con una ricchezza totale enorme, in cui molte aziende aumentano notevolmente di valore grazie all'aumento della produttività e alla concentrazione di capitale, potrebbe essere fattibile pagare i dipendenti umani anche molto tempo dopo che non forniscono più valore economico nel senso tradizionale. Anthropic sta attualmente considerando una serie di possibili percorsi per i nostri dipendenti che condivideremo nel prossimo futuro."

"Tutti i co-fondatori di Anthropic hanno promesso di donare l'80% della nostra ricchezza."

Alcune verità pesanti, sono completamente d'accordo con questo e ho detto cose simili molte volte. 'Inoltre, gli ultimi anni dovrebbero chiarire che l'idea di fermare o anche di rallentare sostanzialmente la tecnologia è fondamentalmente insostenibile. La formula per costruire sistemi AI potenti è incredibilmente semplice, tanto che si può quasi dire che emerga spontaneamente dalla giusta combinazione di dati e calcolo grezzo. La sua creazione è stata probabilmente inevitabile nel momento in cui l'umanità ha inventato il transistor, o si potrebbe argomentare anche prima, quando abbiamo imparato a controllare il fuoco. Se un'azienda non lo costruisce, altre lo faranno quasi altrettanto velocemente. Se tutte le aziende nei paesi democratici fermassero o rallentassero lo sviluppo, per accordo reciproco o decreto normativo, allora i paesi autoritari continuerebbero semplicemente. Dato l'incredibile valore economico e militare della tecnologia, insieme alla mancanza di un meccanismo di enforcement significativo, non vedo come potremmo convincerli a fermarsi.'

Ottime cose, vale sicuramente la pena leggere tutto. "Gli anni che abbiamo davanti saranno impossibilmente difficili, chiedendo più di quanto pensiamo di poter dare. Ma nel mio tempo come ricercatore, leader e cittadino, ho visto abbastanza coraggio e nobiltà per credere che possiamo vincere—che quando messi nelle circostanze più buie, l'umanità ha un modo di raccogliere, apparentemente all'ultimo minuto, la forza e la saggezza necessarie per prevalere. Non abbiamo tempo da perdere."