看起来 tinygrads 的抽象正在成型？ 我不想当那个家伙，但 Blackwell 是唯一真正的实力测试。即使他们没有专注于 Blackwell，他们也应该证明他们的抽象适合它，以避免 Triton 的困境。这是唯一的办法。

虽然我并不是说这种自我提升的循环最终无法奏效，但我认为我们还没有达到“逃逸速度”。目前的LLM并不够“诚实”，尤其是在施加优化压力时，无法避免崩溃。 在此之前，我们只有一个N=1的样本量，能够可靠地赋予一系列新兴能力：预训练。 人们应该少花时间考虑后训练，而应该多花时间考虑那些看起来像预训练但可能承载不同承诺的事物。

我认为，关于大型语言模型（LLMs）是“糟糕的导师”，因为它们无法准确探测理解能力的观察是准确的。"整体提升"的做法是愚蠢的这一事实也是如此。然而，我并不明显认为解决这个问题的方法是让LLM反思“做得好的地方”。我认为这会遇到非常相似的崩溃风险或监督错误分配的问题。因为虽然我们可能是通过吸管吸取监督，但唯一更糟糕的事情就是通过吸管吸取被污染的监督。