你可能会遇到的一个传统叙述是，AI 发展得太快，以至于新的、以研究为重点的初创公司无法超越和执行现有的 AI 企业。这正是我在 OpenAI 开始时经常听到的情绪（“你们几个人怎么可能与谷歌竞争？”），而且 1) 这是非常错误的，然后 2) 这在另一轮现在正在挑战 OpenAI 的初创公司中再次是非常错误的，在我看来，今天仍然是错误的。扩展和局部改进有效的东西将继续创造令人难以置信的进步，但随着如此快速解锁的巨大进展，过程中扬起了如此多的尘埃，并且前沿 LLM 和在 20 瓦特下运行的思维的魔力示例之间仍然存在很大的差距，产生接近 10 倍改进（而不是 10%）的研究突破的概率在我看来仍然感觉非常高——足够高以继续下注并寻找。 当然，棘手的部分是创造可能发现此类突破的条件。我认为这样的环境很少会聚集在一起，但 @bfspector 和 @amspector100 非常聪明，具备（罕见的）对 LLM 的全栈理解，从顶部（数学/算法）到底部（大内核/相关），他们对人才有很好的眼光，我认为他们能够构建一些非常特别的东西。祝贺你们的发布，我期待你们的成果！

新帖子：nanochat迷你系列v1 关于LLM的正确思考方式是，你并不是在为单一特定模型进行优化，而是为由单个旋钮（你希望花费的计算量）控制的一系列模型进行优化，以实现单调更好的结果。这使你能够仔细研究扩展法则，最终这就是让你有信心在支付"大规模运行"时，外推会有效，你的钱会花得值得。对于nanochat的首次公开发布，我的重点是端到端的管道，运行整个LLM管道及其所有阶段。现在，在之前进行了一些YOLO运行后，我回过头来完善一些我匆忙处理的部分，当然首先是预训练，这在计算上是非常繁重的，也是这些模型智能和知识的基础。 在本地调整了一些超参数后，我固定了FLOPs预算，筛选出了一些模型。（对于每个FLOPs目标，你可以训练一个小模型很长时间，或者一个大模型短时间。）结果发现，nanochat遵循非常好的扩展法则，基本上再现了Chinchilla论文的图表： 这只是Chinchilla的这个图的一个小版本： 非常重要且令人鼓舞的是，N（参数）和D（标记）的指数大约相等于0.5，因此就像Chinchilla一样，我们得到了一个与模型大小和标记训练范围相关的单一（与计算无关的）常数。在Chinchilla中，这个值被测量为20。在nanochat中，这似乎是8！ 一旦我们能够训练计算最优模型，我从d10到d20筛选出了一系列迷你模型，这些nanochat大小可以在8XH100节点上以2**19 ~= 0.5M的批量大小运行，而无需梯度累积。我们为每个模型大小得到了漂亮的、不相交的训练图。 然后有趣的部分是将这个迷你系列v1与GPT-2和GPT-3迷你系列关联起来，以便我们知道我们走在正确的轨道上。验证损失存在许多问题，无法进行比较，因此我使用CORE分数（来自DCLM论文）。我为GPT-2计算了它，并为GPT-3估算了它，这使我们最终能够将nanochat很好地放在同一尺度上： 这个迷你系列的总成本仅为 ~$100 (~4小时在8XH100上)。这些实验让我们有信心，一切都在相当顺利地进行，如果我们支付更多（转动旋钮），我们会得到越来越好的模型。 总结：我们可以训练计算最优的迷你系列，并通过目标CORE分数将其与GPT-2/3关联，但进一步的改进是可取且必要的。例如，匹配GPT-2目前需要 ~$500，但我认为通过更多的工作应该可以做到 <$100。 完整帖子包含更多细节在这里： 所有的调优和代码都已推送到主分支，大家可以通过 scaling_laws .sh 和 miniseries .sh bash脚本重现这些。

大多数的 ruff ruff 是那些关注当前点和关注当前斜率的人。