这是闪电注意力前向：`TestPcontig.test_flash_attention` 周围甚至没有一个“融合”，从数据流中模式显而易见。 反向缺少两个技巧：q.grad 和 k.grad 的输出一起，以及选择重新计算分数矩阵而不是保存它。

5090s 在 eBay 上的价格上涨了。$25,000 对于 tinybox green v2 来说是不是太便宜了？我们应该提高价格吗？ 库存只剩下 7 个盒子，我不知道什么时候会再进更多的 5090s。

这并不小，但这是在你家中获得能够以合理速度运行 gpt-oss-120b 和 nanochat 的机器最简单的方法。 它的 FP16 FLOPS 是 DGX Spark 的 15 倍，RAM 带宽是 26 倍，仅需 DGX Spark 价格的 7 倍。今天就买吧！