Dario Amodei sagte beim WEF, dass er kurz davor sei, die Fortsetzung von Machines of Loving Grace zu veröffentlichen. Sie wird heute veröffentlicht, und Axios erhielt von Anthropic einen frühen Einblick. Sie trägt den Titel 'Die Jugend der Technologie: Die Risiken mächtiger KI konfrontieren und überwinden.'

Einige Zitate: 'Ich glaube, wir treten in einen Übergangsritus ein, der sowohl turbulent als auch unvermeidlich ist und der testen wird, wer wir als Spezies sind. Der Menschheit wird eine fast unvorstellbare Macht übergeben, und es ist tief unklar, ob unsere sozialen, politischen und technologischen Systeme die Reife besitzen, sie zu nutzen.'

'Wir sind jetzt an dem Punkt, an dem KI-Modelle beginnen, Fortschritte bei der Lösung ungelöster mathematischer Probleme zu machen, und so gut im Programmieren sind, dass einige der stärksten Ingenieure, die ich je getroffen habe, jetzt fast all ihr Programmieren an KI abgeben. Vor drei Jahren hatte KI Schwierigkeiten mit Grundschul-Arithmetikproblemen und war kaum in der Lage, eine einzige Zeile Code zu schreiben. Ähnliche Verbesserungsraten treten in der biologischen Wissenschaft, Finanzen, Physik und einer Vielzahl von agentischen Aufgaben auf. Wenn das exponentielle Wachstum anhält – was nicht sicher ist, aber jetzt eine zehnjährige Erfolgsbilanz hat, die es unterstützt – dann kann es nicht mehr als ein paar Jahre dauern, bis KI in praktisch allem besser ist als Menschen. Tatsächlich unterschätzt dieses Bild wahrscheinlich die wahrscheinliche Fortschrittsrate. Da KI jetzt einen Großteil des Codes bei Anthropic schreibt, beschleunigt sie bereits erheblich die Rate unseres Fortschritts beim Bau der nächsten Generation von KI-Systemen. Diese Rückkopplungsschleife gewinnt Monat für Monat an Schwung und könnte nur 1–2 Jahre davon entfernt sein, dass die aktuelle Generation von KI autonom die nächste baut. Diese Schleife hat bereits begonnen und wird in den kommenden Monaten und Jahren schnell beschleunigen. Wenn ich die letzten 5 Jahre des Fortschritts von innen bei Anthropic beobachte und sehe, wie sich selbst die nächsten Monate der Modelle entwickeln, kann ich das Tempo des Fortschritts spüren und die Uhr ticken hören.'

'Es ist etwas unangenehm, dies als CEO eines KI-Unternehmens zu sagen, aber ich denke, die nächste Risikostufe sind tatsächlich die KI-Unternehmen selbst. KI-Unternehmen kontrollieren große Rechenzentren, trainieren fortschrittliche Modelle, haben das größte Fachwissen darüber, wie man diese Modelle nutzt, und haben in einigen Fällen täglichen Kontakt zu und die Möglichkeit, Einfluss auf zig Millionen von Nutzern zu nehmen. Das Hauptproblem, das ihnen fehlt, ist die Legitimität und Infrastruktur eines Staates, sodass vieles von dem, was nötig wäre, um die Werkzeuge einer KI-Autokratie zu schaffen, für ein KI-Unternehmen illegal wäre oder zumindest äußerst verdächtig. Aber einiges ist nicht unmöglich: Sie könnten beispielsweise ihre KI-Produkte nutzen, um ihre riesige Verbraucherbasis einer Gehirnwäsche zu unterziehen, und die Öffentlichkeit sollte sich des Risikos, das dies darstellt, bewusst sein. Ich denke, die Governance von KI-Unternehmen verdient viel Aufmerksamkeit.'

'Wie der Ausdruck „Land der Genies in einem Rechenzentrum“ andeutet, wird KI in der Lage sein, ein sehr breites Spektrum menschlicher kognitiver Fähigkeiten zu entwickeln – vielleicht sogar alle. Das unterscheidet sich stark von früheren Technologien wie mechanisierter Landwirtschaft, Transport oder sogar Computern. Dies wird es den Menschen erschweren, leicht von verdrängten Jobs auf ähnliche Jobs zu wechseln, für die sie gut geeignet wären. Zum Beispiel sind die allgemeinen intellektuellen Fähigkeiten, die für Einstiegsjobs in Bereichen wie Finanzen, Beratung und Recht erforderlich sind, ziemlich ähnlich, auch wenn das spezifische Wissen ganz anders ist. Eine Technologie, die nur einen dieser drei Bereiche stört, würde es den Mitarbeitern ermöglichen, auf die beiden anderen nahen Ersatzmöglichkeiten zu wechseln (oder für Studierende, das Hauptfach zu wechseln). Aber alle drei gleichzeitig zu stören (neben vielen anderen ähnlichen Jobs) könnte es den Menschen schwerer machen, sich anzupassen. Darüber hinaus ist es nicht nur so, dass die meisten bestehenden Jobs gestört werden. Dieser Teil ist schon früher passiert – denken Sie daran, dass die Landwirtschaft einen großen Prozentsatz der Beschäftigung ausmachte. Aber Landwirte konnten auf die relativ ähnliche Arbeit des Bedarfs an Fabrikmaschinen umsteigen, auch wenn diese Arbeit zuvor nicht verbreitet war. Im Gegensatz dazu passt KI zunehmend dem allgemeinen kognitiven Profil der Menschen an, was bedeutet, dass sie auch gut in den neuen Jobs sein wird, die normalerweise als Reaktion auf die Automatisierung der alten geschaffen werden. Anders ausgedrückt, KI ist kein Ersatz für spezifische menschliche Jobs, sondern vielmehr ein allgemeiner Arbeitsersatz für Menschen.'

'Zum Beispiel haben sich unsere Modelle in der Programmierung von "einem mittelmäßigen Programmierer" über "einen starken Programmierer" bis hin zu "einem sehr starken Programmierer" entwickelt. Wir beginnen nun, dieselbe Entwicklung auch in der Büroarbeit im Allgemeinen zu beobachten. Wir sind somit in Gefahr, in eine Situation zu geraten, in der nicht nur Menschen mit spezifischen Fähigkeiten oder in bestimmten Berufen betroffen sind (die sich durch Umschulung anpassen können), sondern KI Menschen mit bestimmten intrinsischen kognitiven Eigenschaften betrifft, nämlich mit einer geringeren intellektuellen Fähigkeit (was schwerer zu ändern ist). Es ist unklar, wohin diese Menschen gehen werden oder was sie tun werden, und ich mache mir Sorgen, dass sie eine arbeitslose oder sehr niedrig bezahlte "Unterschicht" bilden könnten.'

Anthropic plant, Mitarbeiter auch dann zu behalten, wenn sie 'keinen wirtschaftlichen Wert im traditionellen Sinne' mehr bieten. 'Drittens sollten Unternehmen darüber nachdenken, wie sie sich um ihre Mitarbeiter kümmern können. Kurzfristig kann es vielversprechend sein, kreativ darüber nachzudenken, wie Mitarbeiter innerhalb der Unternehmen umgeschichtet werden können, um die Notwendigkeit von Entlassungen abzuwenden. Langfristig, in einer Welt mit enormem Gesamtvermögen, in der viele Unternehmen aufgrund von Produktivitätssteigerungen und Kapital Konzentration erheblich an Wert gewinnen, könnte es machbar sein, menschliche Mitarbeiter auch lange nachdem sie keinen wirtschaftlichen Wert im traditionellen Sinne mehr bieten, zu bezahlen. Anthropic erwägt derzeit eine Reihe möglicher Wege für unsere eigenen Mitarbeiter, die wir in naher Zukunft teilen werden.'

'Alle Mitbegründer von Anthropic haben sich verpflichtet, 80 % unseres Vermögens zu spenden.'

Einige harte Wahrheiten, ich stimme dem vollkommen zu und habe ähnliche Dinge viele Male gesagt. "Darüber hinaus sollten die letzten Jahre deutlich machen, dass die Idee, die Technologie zu stoppen oder sogar erheblich zu verlangsamen, grundsätzlich unhaltbar ist. Die Formel zum Bau leistungsstarker KI-Systeme ist unglaublich einfach, so sehr, dass man fast sagen könnte, sie entsteht spontan aus der richtigen Kombination von Daten und roher Berechnung. Ihre Schaffung war wahrscheinlich unvermeidlich, in dem Moment, als die Menschheit den Transistor erfand, oder möglicherweise sogar noch früher, als wir zum ersten Mal lernten, Feuer zu kontrollieren. Wenn ein Unternehmen es nicht baut, werden andere es fast ebenso schnell tun. Wenn alle Unternehmen in demokratischen Ländern die Entwicklung durch gegenseitige Vereinbarung oder regulatorischen Erlass stoppen oder verlangsamen würden, würden autoritäre Länder einfach weitermachen. Angesichts des unglaublichen wirtschaftlichen und militärischen Wertes der Technologie, zusammen mit dem Fehlen eines sinnvollen Durchsetzungsmechanismus, sehe ich nicht, wie wir sie überzeugen könnten, damit aufzuhören."

Großartige Sachen, es lohnt sich auf jeden Fall, das Ganze zu lesen. "Die Jahre, die vor uns liegen, werden unvorstellbar hart sein und mehr von uns verlangen, als wir denken, geben zu können. Aber in meiner Zeit als Forscher, Führer und Bürger habe ich genug Mut und Edelmut gesehen, um zu glauben, dass wir gewinnen können – dass die Menschheit, wenn sie in den dunkelsten Umständen steckt, scheinbar in letzter Minute die Kraft und Weisheit zusammenbringt, die nötig ist, um zu bestehen. Wir haben keine Zeit zu verlieren."