Andrew Ng hat gerade enthüllt, warum die KI-Unternehmen, die die meiste Rechenleistung in das Problem stecken, verlieren werden. Der Gewinner des Intelligenzrennens wird nicht die meiste Rechenleistung nutzen. Sie werden am wenigsten verschwenden. Ng: „Die meisten Ihrer hochdimensionalen Daten liegen in einem niederdimensionalen Unterraum. Das ist einfach eine Tatsache des Lebens.“ Was das in der Praxis bedeutet. Sie haben einen 10.000-dimensionalen Datensatz. Jede Dimension wird durch jede Berechnung gezogen. Jeder Trainingszyklus schleift totes Gewicht, das das Modell niemals nutzen wird. Ng: „Sie tragen diese 10.000-dimensionalen Beispiele während Ihres gesamten Trainingsprozesses mit sich herum.“ Diese Aufblähung ist nicht nur ineffizient. Es ist eine Steuer auf jede Berechnung, die Sie durchführen. Speicherbandbreite. Netzwerkbandbreite. Rechengeschwindigkeit. All das wird von Dimensionen aufgefressen, die nichts zur Intelligenz beitragen. Sie tragen Rauschen bei. Die Einsicht, die die Architekten von dem Wettrüsten trennt: Dieser 10.000-dimensionale Datensatz wird fast vollständig von einem viel kleineren Unterraum erfasst. Das Signal lebt in einem Bruchteil des Raums, den Sie bezahlen, um ihn zu verarbeiten. Komprimieren Sie es. 10.000 Dimensionen auf 1.000. Ng: „Sie können Ihren Lernalgorithmus auf einem viel niederdimensionaleren Datensatz ausführen, und es kann viel effizienter sein.“ Gleiche Hardware. Gleiches Budget. Ein Bruchteil der Reibung. Brute Force ist die Strategie von dem, der die tiefsten Taschen hat. Kompression ist die Strategie von dem, der das Problem tatsächlich versteht. Die Unternehmen, die dies meistern, bauen nicht nur schnellere Modelle. Sie bauen Modelle, die mehr Wahrheit in weniger Daten finden als alles, was blind skalieren wird. Intelligenz ging nie darum, alles zu verarbeiten. Es geht darum, zu wissen, was man abschneiden sollte.

Dr. Fei-Fei Li hat gerade den größten blinden Fleck in der gesamten KI-Industrie angesprochen. Wir haben die Hälfte der menschlichen Intelligenz aufgebaut. Und nennen es die Ziellinie. Li: „Wenn man sich die menschliche Intelligenz ansieht, lässt sie sich im Wesentlichen in zwei Kategorien einteilen.“ Die erste Kategorie ist Sprache. Symbolisches Denken. Kommunikation. Die Fähigkeit, in Worten und Abstraktionen zu denken. Das ist es, was jedes große KI-Labor im letzten Jahrzehnt aufgebaut hat. Die zweite Kategorie ist die, die die Industrie fast vollständig ignoriert hat. Li: „Wir nennen das in der KI räumliche Intelligenz.“ Wie Menschen und Tiere die dreidimensionale physische Welt wahrnehmen, navigieren und mit ihr interagieren. Wie wir nach Objekten greifen. Wie wir uns im Raum bewegen. Wie wir die physische Realität aufbauen und manipulieren. Vom Malen von Meisterwerken bis zum Bau der Pyramiden, nicht-verbale räumliche Intelligenz ist es, die die Welt tatsächlich formt. Sprache beschreibt die Realität. Räumliche Intelligenz handelt danach. Und die Lücke zwischen diesen beiden Dingen ist die Lücke zwischen einem Chatbot und einem Roboter. Li: „Wenn diese Technologie bereit ist, wird die robotische Revolution beginnen. Wir sehen diesen Trend bereits.“ Jeder Roboter ist ein beweglicher Agent. Jeder bewegliche Agent benötigt räumliche Intelligenz, um in der realen Welt zu funktionieren. Die humanoiden Roboter, die derzeit in Fabriken eingesetzt werden, stoßen an die Grenzen dessen, was Sprachmodelle allein leisten können. Räumliche Intelligenz ist der Schlüssel. Aber Li hörte nicht bei der Robotik auf. Li: „Aus geopolitischer Sicht ist dies ein Teil der Technologie, die direkt in Waffen geht.“ Autonome Drohnenschwärme. Navigation auf dem Schlachtfeld. Physische Zielerfassung ohne menschliche Aufsicht. Jede militärische Anwendung von KI, die in der realen Welt operiert, basiert auf räumlicher Intelligenz. Die Nation, die den Übergang von statischem Text zu dynamischer dreidimensionaler Wahrnehmung meistert, gewinnt nicht nur das Software-Rennen. Sie beherrscht das physische Schlachtfeld. Das KI-Rüstungsrennen hat gerade das Rechenzentrum verlassen. Es operiert jetzt in drei Dimensionen.

Elon Musk hat gerade gesagt, dass die KI-Community die Mathematik der Superintelligenz um zwei Größenordnungen missversteht. Nicht leicht daneben. Nicht richtungsweisend falsch. Hundertmal daneben. Musk: „Die meisten Menschen in der KI-Community verstehen das noch nicht. Das Potenzial der Intelligenzdichte ist weit größer als das, was wir derzeit erleben.“ Alle konzentrieren sich auf das Hardware-Rennen. Größere Rechenzentren. Mehr GPUs. Kernkraftwerke, die gebaut werden, um die Rechenleistung zu versorgen. Das ist die Hälfte der Gleichung. Musk: „Ich denke, wir liegen in Bezug auf die Intelligenzdichte pro Gigabyte um zwei Größenordnungen daneben. Das ist nur algorithmische Verbesserung. Der gleiche Computer.“ Lies das sorgfältig. Nicht mehr Hardware. Nicht mehr Energie. Nicht mehr Kapital. Die gleiche Maschine. Hundertmal intelligenter. Nur durch Software. Das ist, bevor die Hardware-Verbesserungen darauf aufbauen. Musk: „Und die Computer werden besser. Deshalb denke ich, dass es eine Verbesserung von 10x pro Jahr ist. 1.000 Prozent.“ Ein jährlicher Wachstumsrate von 1.000 Prozent in roher Intelligenz. Ein System, das alle zwölf Monate 10x fähiger wird, folgt keiner linearen Kurve. Es folgt keiner exponentiellen Kurve, die die menschliche Intuition verfolgen kann. Es folgt einer Kurve, die die menschliche Intuition überhaupt nicht simulieren kann. Im ersten Jahr ist es 10x intelligenter. Im zweiten Jahr ist es 100x. Im dritten Jahr ist es 1.000x. An diesem Punkt ist der Abstand zwischen diesem System und einem menschlichen Gehirn größer als der Abstand zwischen einem menschlichen Gehirn und einem Taschenrechner. Das ist die Mathematik, die die Öffentlichkeit nicht berücksichtigt. Die Modelle werden nicht nur besser. Sie kumulieren sich selbst in einem Tempo, das jede vorherige Technologiekurve flach erscheinen lässt. Musk: „Das Potenzial der Intelligenzdichte ist weit größer als das, was wir derzeit erleben.“ Wir nähern uns der Superintelligenz nicht auf dem Zeitrahmen, den die meisten Menschen sich vorstellen. Wir sind bereits innerhalb der Kurve.