Andrew Ng hat gerade enthüllt, warum die KI-Unternehmen, die die meiste Rechenleistung in das Problem stecken, verlieren werden. Der Gewinner des Intelligenzrennens wird nicht die meiste Rechenleistung nutzen. Sie werden am wenigsten verschwenden. Ng: „Die meisten Ihrer hochdimensionalen Daten liegen in einem niederdimensionalen Unterraum. Das ist einfach eine Tatsache des Lebens.“ Was das in der Praxis bedeutet. Sie haben einen 10.000-dimensionalen Datensatz. Jede Dimension wird durch jede Berechnung gezogen. Jeder Trainingszyklus schleift totes Gewicht, das das Modell niemals nutzen wird. Ng: „Sie tragen diese 10.000-dimensionalen Beispiele während Ihres gesamten Trainingsprozesses mit sich herum.“ Diese Aufblähung ist nicht nur ineffizient. Es ist eine Steuer auf jede Berechnung, die Sie durchführen. Speicherbandbreite. Netzwerkbandbreite. Rechengeschwindigkeit. All das wird von Dimensionen aufgefressen, die nichts zur Intelligenz beitragen. Sie tragen Rauschen bei. Die Einsicht, die die Architekten von dem Wettrüsten trennt: Dieser 10.000-dimensionale Datensatz wird fast vollständig von einem viel kleineren Unterraum erfasst. ...