Dario Amodei disse no WEF que estava prestes a publicar a sequência de Machines of Loving Grace. Será lançada hoje, e a Axios teve uma prévia antecipada pela Anthropic. O título é 'A Adolescência da Tecnologia: Enfrentando e Superando os Riscos da Inteligência Artificial Poderosa.'

Algumas citações: ' Acredito que estamos a entrar num rito de passagem, tanto turbulento como inevitável, que irá testar quem somos como espécie. A humanidade está prestes a receber um poder quase inimaginável, e é profundamente incerto se os nossos sistemas sociais, políticos e tecnológicos possuem a maturidade para o exercer.'

'Estamos agora no ponto em que os modelos de IA estão começando a fazer progressos na resolução de problemas matemáticos não resolvidos, e são bons o suficiente em programação para que alguns dos engenheiros mais fortes que já conheci estejam agora entregando quase toda a sua codificação à IA. Três anos atrás, a IA lutava com problemas de aritmética de escola primária e mal conseguia escrever uma única linha de código. Taxas de melhoria semelhantes estão ocorrendo em ciências biológicas, finanças, física e uma variedade de tarefas agentivas. Se a exponencial continuar — o que não é certo, mas agora tem um histórico de uma década que a apoia — então não pode passar de alguns anos antes que a IA seja melhor que os humanos em praticamente tudo. Na verdade, essa imagem provavelmente subestima a taxa de progresso provável. Como a IA está agora escrevendo grande parte do código na Anthropic, já está acelerando substancialmente a taxa de nosso progresso na construção da próxima geração de sistemas de IA. Esse ciclo de feedback está ganhando força mês a mês, e pode estar apenas a 1-2 anos de um ponto em que a geração atual de IA constrói autonomamente a próxima. Esse ciclo já começou e irá acelerar rapidamente nos próximos meses e anos. Observando os últimos 5 anos de progresso de dentro da Anthropic, e olhando como até mesmo os próximos meses de modelos estão se moldando, posso sentir o ritmo do progresso e o relógio contando.'

'É um pouco estranho dizer isso como CEO de uma empresa de AI, mas acho que o próximo nível de risco são, na verdade, as próprias empresas de AI. As empresas de AI controlam grandes datacenters, treinam modelos de ponta, têm a maior expertise sobre como usar esses modelos e, em alguns casos, têm contato diário e a possibilidade de influenciar dezenas ou centenas de milhões de usuários. A principal coisa que lhes falta é a legitimidade e a infraestrutura de um estado, então muito do que seria necessário para construir as ferramentas de uma autocracia de AI seria ilegal para uma empresa de AI fazer, ou pelo menos extremamente suspeito. Mas parte disso não é impossível: elas poderiam, por exemplo, usar seus produtos de AI para doutrinar sua enorme base de consumidores, e o público deve estar alerta para o risco que isso representa. Acho que a governança das empresas de AI merece muita atenção.'

'Como sugerido pela frase "país de gênios em um datacenter", a IA será capaz de uma ampla gama de habilidades cognitivas humanas—talvez todas elas. Isso é muito diferente de tecnologias anteriores, como agricultura mecanizada, transporte ou mesmo computadores. Isso tornará mais difícil para as pessoas mudarem facilmente de empregos que são deslocados para empregos semelhantes para os quais seriam uma boa opção. Por exemplo, as habilidades intelectuais gerais exigidas para empregos de nível inicial em, digamos, finanças, consultoria e direito são bastante semelhantes, mesmo que o conhecimento específico seja bastante diferente. Uma tecnologia que interrompesse apenas um desses três permitiria que os funcionários mudassem para os outros dois substitutos próximos (ou que os graduandos mudassem de curso). Mas interromper os três ao mesmo tempo (junto com muitos outros empregos semelhantes) pode ser mais difícil para as pessoas se adaptarem. Além disso, não é apenas que a maioria dos empregos existentes será interrompida. Essa parte já aconteceu antes—lembre-se de que a agricultura era uma porcentagem enorme do emprego. Mas os agricultores podiam mudar para o trabalho relativamente semelhante de operar máquinas de fábrica, mesmo que esse trabalho não fosse comum antes. Em contraste, a IA está cada vez mais correspondendo ao perfil cognitivo geral dos humanos, o que significa que também será boa nos novos empregos que normalmente seriam criados em resposta à automação dos antigos. Outra maneira de dizer isso é que a IA não é um substituto para empregos humanos específicos, mas sim um substituto geral de mão de obra para humanos.'

'Por exemplo, na codificação, os nossos modelos passaram do nível de "um programador medíocre" para "um programador forte" e depois para "um programador muito forte." Agora estamos a começar a ver a mesma progressão no trabalho de colarinho branco em geral. Assim, corremos o risco de uma situação em que, em vez de afetar pessoas com habilidades específicas ou em profissões específicas (que podem adaptar-se através de requalificação), a IA está a afetar pessoas com certas propriedades cognitivas intrínsecas, nomeadamente uma capacidade intelectual mais baixa (que é mais difícil de mudar). Não está claro para onde essas pessoas irão ou o que farão, e estou preocupado que possam formar uma "classe subempregada" de desempregados ou de muito baixos salários.'

A Anthropic planeia manter os funcionários mesmo depois de eles 'não fornecerem mais valor econômico no sentido tradicional.' 'Terceiro, as empresas devem pensar em como cuidar de seus funcionários. A curto prazo, ser criativo sobre maneiras de realocar funcionários dentro das empresas pode ser uma maneira promissora de evitar a necessidade de demissões. A longo prazo, em um mundo com uma riqueza total enorme, no qual muitas empresas aumentam significativamente de valor devido ao aumento da produtividade e concentração de capital, pode ser viável pagar funcionários humanos mesmo muito tempo depois de não estarem mais a fornecer valor econômico no sentido tradicional. A Anthropic está atualmente considerando uma variedade de possíveis caminhos para nossos próprios funcionários que compartilharemos em breve.'

'Todos os co-fundadores da Anthropic prometeram doar 80% da nossa riqueza.'

Algumas verdades pesadas, concordo completamente com isto e já disse coisas semelhantes muitas vezes. 'Além disso, os últimos anos devem deixar claro que a ideia de parar ou mesmo desacelerar substancialmente a tecnologia é fundamentalmente insustentável. A fórmula para construir sistemas de IA poderosos é incrivelmente simples, tanto que pode quase ser dito que surge espontaneamente da combinação certa de dados e computação bruta. A sua criação foi provavelmente inevitável no instante em que a humanidade inventou o transistor, ou até mesmo antes, quando aprendemos a controlar o fogo. Se uma empresa não a construir, outras o farão quase tão rapidamente. Se todas as empresas em países democráticos parassem ou desacelerassem o desenvolvimento, por acordo mútuo ou decreto regulatório, então os países autoritários simplesmente continuariam. Dada a incrível valor econômico e militar da tecnologia, juntamente com a falta de qualquer mecanismo de aplicação significativo, não vejo como poderíamos convencê-los a parar.'

Coisas ótimas, definitivamente vale a pena ler tudo. "Os anos à nossa frente serão impossivelmente difíceis, exigindo mais de nós do que pensamos que podemos dar. Mas, no meu tempo como pesquisador, líder e cidadão, vi coragem e nobreza suficientes para acreditar que podemos vencer—que, quando colocada nas circunstâncias mais sombrias, a humanidade tem uma maneira de reunir, aparentemente no último minuto, a força e a sabedoria necessárias para prevalecer. Não temos tempo a perder."