Dario Amodei sa på WEF at han var i ferd med å gi ut oppfølgeren til Machines of Loving Grace. Den slippes i dag, og Axios fikk en tidlig sjanse av Anthropic. Den har tittelen 'Teknologiens ungdomstid: Å konfrontere og overvinne risikoene ved Powerful Al.'

Noen sitater: ' Jeg tror vi går inn i en overgangsrite, både turbulent og uunngåelig, som vil teste hvem vi er som art. Menneskeheten er i ferd med å få nesten utenkelig makt, og det er dypt uklart om våre sosiale, politiske og teknologiske systemer har modenheten til å utøve den.'

'Vi er nå på et punkt hvor AI-modeller begynner å gjøre fremskritt i å løse uløste matematiske problemer, og er gode nok til å kode at noen av de sterkeste ingeniørene jeg noen gang har møtt, nå overlater nesten all kodingen sin til AI. For tre år siden slet AI med aritmetikkoppgaver på barneskolen og klarte knapt å skrive en eneste linje kode. Lignende forbedringsrater skjer innen biologisk vitenskap, finans, fysikk og en rekke agentiske oppgaver. Hvis eksponentialen fortsetter – noe som ikke er sikkert, men som nå har en tiårig merittliste som støtter det – kan det umulig gå mer enn noen få år før AI er bedre enn mennesker i praktisk talt alt. Faktisk undervurderer det bildet sannsynligvis den sannsynlige fremgangstakten. Fordi AI nå skriver mye av koden hos Anthropic, akseler den allerede betydelig fremgangen vår i byggingen av neste generasjon AI-systemer. Denne tilbakemeldingssløyfen samler fart måned for måned, og kan være bare 1–2 år unna et punkt hvor dagens generasjon AI autonomt bygger den neste. Denne løkken har allerede startet, og vil akselerere raskt i månedene og årene som kommer. Når jeg følger de siste fem årene med fremgang fra Anthropic, og ser hvordan selv de neste månedene med modeller utvikler seg, kan jeg kjenne tempoet i fremgangen og klokken tikker ned.'

'Det er litt pinlig å si dette som administrerende direktør i et AI-selskap, men jeg tror neste risikonivå faktisk er AI-selskapene selv. KI-selskaper kontrollerer store datasentre, trener frontmodeller, har størst ekspertise i hvordan de skal bruke disse modellene, og har i noen tilfeller daglig kontakt med og mulighet for påvirkning over titalls eller hundrevis av millioner brukere. Det viktigste de mangler er legitimiteten og infrastrukturen til en stat, så mye av det som ville vært nødvendig for å bygge verktøyene til en AI-autokrati ville være ulovlig for et AI-selskap å gjøre, eller i det minste svært mistenkelig. Men noe av det er ikke umulig: de kunne for eksempel brukt sine AI-produkter til å hjernevaske sin enorme brukerbase, og offentligheten bør være oppmerksom på risikoen dette innebærer. Jeg mener styringen av AI-selskaper fortjener mye gransking.'

«Som antydet av uttrykket «land av genier i et datasenter», vil KI være i stand til et svært bredt spekter av menneskelige kognitive evner – kanskje alle. Dette er veldig annerledes enn tidligere teknologier som mekanisert jordbruk, transport eller til og med datamaskiner. Dette vil gjøre det vanskeligere for folk å bytte lett fra jobber som blir flyttet til lignende jobber de passer godt til. For eksempel er de generelle intellektuelle ferdighetene som kreves for nybegynnerjobber innen for eksempel finans, konsulentvirksomhet og jus ganske like, selv om den spesifikke kunnskapen er ganske forskjellig. En teknologi som bare forstyrret én av disse tre, ville tillate ansatte å bytte til de to andre nære erstatningene (eller for bachelorstudenter å bytte hovedfag). Men å forstyrre alle tre samtidig (sammen med mange andre lignende jobber) kan være vanskeligere for folk å tilpasse seg. Videre er det ikke bare at de fleste eksisterende jobber vil bli forstyrret. Den delen har skjedd før—husk at jordbruk utgjorde en enorm andel av sysselsettingen. Men bøndene kunne bytte til relativt lignende arbeid med å betjene fabrikkmaskiner, selv om det arbeidet ikke hadde vært vanlig før. Derimot matcher KI i økende grad den generelle kognitive profilen til mennesker, noe som betyr at den også vil være god i de nye jobbene som vanligvis ville blitt skapt som svar på at de gamle blir automatisert. En annen måte å si det på er at AI ikke er en erstatning for spesifikke menneskelige jobber, men snarere en generell arbeidskraft som erstatning for mennesker.'

For eksempel har modellene våre i koding gått fra nivået «en middelmådig koder» til «en sterk koder» til «en veldig sterk koder.» Vi begynner nå å se samme utvikling innen kontorarbeid generelt. Vi risikerer dermed en situasjon der, i stedet for å påvirke folk med spesifikke ferdigheter eller i spesifikke yrker (som kan tilpasse seg gjennom omskolering), påvirker KI mennesker med visse iboende kognitive egenskaper, nemlig lavere intellektuell evne (som er vanskeligere å endre). Det er uklart hvor disse menneskene vil dra eller hva de vil gjøre, og jeg er bekymret for at de kan danne en arbeidsledig eller svært lavtlønnet "underklasse."

Antropiske planer om å beholde ansatte selv etter at de «ikke lenger gir økonomisk verdi i tradisjonell forstand.» 'For det tredje bør selskaper tenke på hvordan de skal ta vare på sine ansatte. På kort sikt kan det å være kreativ med måter å omplassere ansatte i selskaper på være en lovende måte å unngå oppsigelser på. På lang sikt, i en verden med enorm totalformue, der mange selskaper øker betydelig i verdi på grunn av økt produktivitet og kapitalkonsentrasjon, kan det være mulig å betale menneskelige ansatte lenge etter at de ikke lenger gir økonomisk verdi i tradisjonell forstand. Anthropic vurderer for tiden en rekke mulige veier for våre egne ansatte som vi vil dele i nær fremtid.»

'Alle Anthropics medgründere har lovet å donere 80 % av vår formue.'

Noen tunge sannheter, jeg er helt enig i dette og har sagt lignende ting mange ganger. 'Videre bør de siste årene gjøre det klart at ideen om å stoppe eller til og med betydelig bremse teknologien er grunnleggende uholdbar. Formelen for å bygge kraftige AI-systemer er utrolig enkel, så enkel at den nesten kan sies å oppstå spontant fra riktig kombinasjon av data og rå beregning. Dens oppfinnelse var sannsynligvis uunngåelig i det øyeblikket menneskeheten oppfant transistoren, eller kanskje enda tidligere da vi først lærte å kontrollere ild. Hvis ett selskap ikke bygger det, vil andre gjøre det nesten like raskt. Hvis alle selskaper i demokratiske land stoppet eller bremset utviklingen, ved gjensidig avtale eller reguleringsdekret, ville autoritære land rett og slett fortsette. Gitt den utrolige økonomiske og militære verdien av teknologien, sammen med mangelen på noen meningsfull håndhevelsesmekanisme, ser jeg ikke hvordan vi kan overbevise dem om å stoppe.'

Flott stoff, det er absolutt verdt å lese hele boken. 'Årene foran oss vil være ufattelig vanskelige, kreve mer av oss enn vi tror vi kan gi. Men i min tid som forsker, leder og borger har jeg sett nok mot og edelhet til å tro at vi kan vinne – at når menneskeheten settes i de mørkeste omstendigheter, har den en måte å samle den styrken og visdommen som trengs for å seire, tilsynelatende i siste øyeblikk. Vi har ikke tid å miste.'