Sieht so aus, als würden sich die Abstraktionen von tinygrads entwickeln? Ich will nicht derjenige sein, aber Blackwell ist der einzige wahre Test der Stärke. Selbst wenn sie sich nicht auf Blackwell konzentrieren, sollten sie ihre Abstraktionen so gestalten, dass sie dafür geeignet sind, um ein Triton-Dilemma zu vermeiden. Es ist der einzige Weg.

Auch wenn ich nicht sage, dass dieser Kreislauf der Selbstverbesserung letztendlich nicht funktionieren kann, denke ich, dass wir noch nicht "Fluchtgeschwindigkeit" erreicht haben. Die LLMs sind derzeit nicht ausreichend "ehrlich", insbesondere wenn der Optimierungsdruck angewendet wird, um nicht dem Zusammenbruch zu erliegen. Bis dahin haben wir genau eine N=1 Stichprobengröße von Dingen, die zuverlässig eine vielfältige Reihe von emergenten Fähigkeiten verleihen: das Pre-Training. Die Leute sollten weniger Zeit damit verbringen, über das Post-Training nachzudenken, und mehr Zeit damit, über Dinge nachzudenken, die effektiv wie Pre-Training aussehen, aber unterschiedliche Versprechungen halten könnten.

Ich denke, die Beobachtung, dass LLMs "schlechte Tutoren" sind, da sie das Verständnis nicht präzise abfragen können, ist zutreffend. Die Tatsache, dass "das gesamte Rollout hochzuwerten" dumm ist, stimmt ebenfalls. Allerdings ist mir nicht klar, dass das Heilmittel dafür LLM-Reflexion darüber ist, "was gut gelaufen ist". Ich denke, das stößt auf sehr ähnliche Probleme mit Kollapsrisiko oder Fehlallokation von Aufsicht. Denn während wir vielleicht Aufsicht durch einen Strohhalm saugen, ist das Einzige, was noch schlimmer ist, das Saugen von kontaminierter Aufsicht durch einen Strohhalm.