Dario Amodei dijo en el WEF que estaba a punto de publicar la secuela de Máquinas de Gracia Amorosa. Se lanzará hoy, y Axios recibió un primer vistazo de Anthropic. Se titula 'La adolescencia de la tecnología: enfrentando y superando los riesgos de la Al poderosa'.

Algunas citas: 'Creo que estamos entrando en un rito de iniciación, tanto turbulento como inevitable, que pondrá a prueba quiénes somos como especie. La humanidad está a punto de recibir un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez necesaria para ejercerlo.'

'Ahora estamos en el punto en que los modelos de IA empiezan a avanzar en la resolución de problemas matemáticos sin resolver, y son lo suficientemente buenos programando como para que algunos de los ingenieros más fuertes que he conocido ahora le entregan casi toda su programación a la IA. Hace tres años, la IA tenía problemas de aritmética en primaria y apenas podía escribir una sola línea de código. Tasas de mejora similares se están produciendo en ciencias biológicas, finanzas, física y una variedad de tareas agentes. Si la tendencia exponencial continúa —lo cual no es seguro, pero ahora cuenta con una década de historial— entonces no pueden pasar más de unos pocos años antes de que la IA sea mejor que los humanos en prácticamente todo. De hecho, esa imagen probablemente subestima la tasa probable de progreso. Como la IA está escribiendo gran parte del código en Anthropic, ya está acelerando sustancialmente el ritmo de nuestro progreso en la construcción de la próxima generación de sistemas de IA. Este bucle de retroalimentación está ganando fuerza mes a mes, y puede estar a solo 1–2 años de que la generación actual de IA construya de forma autónoma la siguiente. Este ciclo ya ha comenzado y se acelerará rápidamente en los próximos meses y años. Viendo los últimos 5 años de progreso desde dentro de Anthropic, y observando cómo incluso los próximos meses de modelos se están perfilando, puedo sentir el ritmo del progreso y el reloj corriendo.'

'Es algo incómodo decir esto como CEO de una empresa de IA, pero creo que el siguiente nivel de riesgo son en realidad las propias empresas de IA. Las empresas de IA controlan grandes centros de datos, entrenan modelos de frontera, tienen la mayor experiencia en cómo usar esos modelos y, en algunos casos, tienen contacto a diario y la posibilidad de influir sobre decenas o cientos de millones de usuarios. Lo principal que les falta es la legitimidad e infraestructura de un Estado, por lo que gran parte de lo que se necesitaría para construir las herramientas de una autocracia de IA sería ilegal para una empresa de IA, o al menos sumamente sospechoso. Pero parte de ello no es imposible: podrían, por ejemplo, usar sus productos de IA para lavar el cerebro a su enorme base de usuarios, y el público debería estar atento al riesgo que esto supone. Creo que la gobernanza de las empresas de IA merece mucho escrutinio.'

'Como sugiere la frase "país de genios en un centro de datos", la IA será capaz de una gama muy amplia de capacidades cognitivas humanas—quizás todas. Esto es muy diferente de tecnologías anteriores como la agricultura mecanizada, el transporte o incluso los ordenadores. Esto dificultará que la gente cambie fácilmente de trabajos desplazados a trabajos similares para los que encajarían bien. Por ejemplo, las capacidades intelectuales generales requeridas para trabajos de nivel inicial en, por ejemplo, finanzas, consultoría y derecho, son bastante similares, aunque los conocimientos específicos sean bastante diferentes. Una tecnología que solo interrumpiera a uno de estos tres permitiría a los empleados cambiar a los otros dos sustitutos cercanos (o que los estudiantes de grado cambiaran de carrera). Pero interrumpir los tres a la vez (junto con muchos otros trabajos similares) puede ser más difícil de adaptar para la gente. Además, no es solo que la mayoría de los empleos existentes se vean interrumpidos. Esa parte ya ha ocurrido antes—recordemos que la agricultura representaba un gran porcentaje del empleo. Pero los agricultores podían pasar a un trabajo relativamente similar de operar máquinas de fábrica, aunque ese trabajo no era común antes. En cambio, la IA se ajusta cada vez más al perfil cognitivo general de los humanos, lo que significa que también será buena en los nuevos empleos que normalmente se crearían en respuesta a la automatización de los antiguos. Otra forma de decirlo es que la IA no sustituye empleos humanos concretos, sino un sustituto general del trabajo humano.'

Por ejemplo, en la codificación nuestros modelos han pasado del nivel de "un programador mediocre" a "un programador fuerte" y luego a "un programador muy fuerte." Ahora estamos empezando a ver la misma evolución en el trabajo de cuello blanco en general. Por tanto, estamos en riesgo de una situación en la que, en lugar de afectar a personas con habilidades específicas o en profesiones concretas (que pueden adaptarse mediante reentrenamiento), la IA afecta a personas con ciertas propiedades cognitivas intrínsecas, concretamente una menor capacidad intelectual (que es más difícil de cambiar). No está claro a dónde irán estas personas ni qué harán, y me preocupa que puedan formar una "clase baja" desempleada o con salarios muy bajos.

Anthropic planea mantener a los empleados incluso después de que 'ya no aporten valor económico en el sentido tradicional'. 'Tercero, las empresas deberían pensar en cómo cuidar a sus empleados. A corto plazo, ser creativo en las formas de reasignar empleados dentro de las empresas puede ser una forma prometedora de evitar la necesidad de despidos. A largo plazo, en un mundo con una enorme riqueza total, en el que muchas empresas aumentan mucho su valor debido a la mayor productividad y concentración de capital, puede ser factible pagar a los empleados humanos incluso mucho después de que ya no estén aportando valor económico en el sentido tradicional. Anthropic está considerando actualmente una serie de posibles vías para nuestros propios empleados que compartiremos en un futuro próximo.'

'Todos los cofundadores de Anthropic se han comprometido a donar el 80% de nuestra riqueza.'

Algunas verdades duras, estoy completamente de acuerdo con esto y he dicho cosas similares muchas veces. 'Además, los últimos años deberían dejar claro que la idea de detener o incluso ralentizar sustancialmente la tecnología es fundamentalmente insostenible. La fórmula para construir sistemas de IA potentes es increíblemente simple, tanto que casi se puede decir que surge espontáneamente de la combinación adecuada de datos y cálculo en bruto. Su creación probablemente fue inevitable en el instante en que la humanidad inventó el transistor, o incluso antes, cuando aprendimos a controlar el fuego. Si una empresa no lo construye, otras lo harán casi igual de rápido. Si todas las empresas de países democráticos detuvieran o ralentizaran el desarrollo, por acuerdo mutuo o decreto regulatorio, entonces los países autoritarios simplemente seguirían adelante. Dado el increíble valor económico y militar de la tecnología, junto con la falta de un mecanismo de aplicación significativo, no veo cómo podríamos convencerles de que paren.'

Muy bueno, definitivamente merece la pena leerlo entero. 'Los años que tenemos por delante serán increíblemente duros, exigiendo más de lo que creemos poder dar. Pero en mi tiempo como investigador, líder y ciudadano, he visto suficiente coraje y nobleza como para creer que podemos ganar—que cuando se enfrenta a las circunstancias más oscuras, la humanidad tiene una forma de reunir, aparentemente en el último momento, la fuerza y sabiduría necesarias para prevalecer. No tenemos tiempo que perder.'