看起來 tinygrads 的抽象正在成形？ 我不想當那個人，但 Blackwell 是唯一真正的實力考驗。即使他們不專注於 Blackwell，他們也應該證明他們的抽象適合它，以避免 Triton 的困境。這是唯一的辦法。

雖然我並不是說這種自我提升的循環最終無法奏效，但我認為我們尚未達到「逃逸速度」。目前的LLM並不夠「誠實」，尤其是在施加優化壓力時，無法避免崩潰。 在那之前，我們只有一個N=1的樣本大小，這些樣本可靠地賦予了一組多樣的突現能力：預訓練。 人們應該少花時間思考後訓練，而應多花時間思考那些有效地看起來像預訓練但可能擁有不同承諾的事物。

我認為，LLMs 是 "糟糕的導師" 這一觀察是準確的，因為它們無法精確地探查理解。"整體推廣的加權" 是愚蠢的這一事實也是正確的。然而，我不明白解決這個問題的辦法是 LLM 反思 "哪些做得好"。我認為這會遇到非常相似的崩潰風險或監督錯配的問題。因為雖然我們可能是通過吸管來吸取監督，但唯一更糟糕的事情就是通過吸管吸取受污染的監督。