我不是在开玩笑，当我看到原始的Anthropic计划、DC的建设规模和盈利预测时，我心想："好吧，如果这是他们的策略，那么他们的野心不够，无法与Sama竞争。" 对某些人来说，这似乎是个愚蠢的看法。好吧，让我们看看 :) "但是，包括训练和运行其AI模型的费用也在快速增长，超出了收入。因此，Anthropic推迟了预计实现现金流正的时间到2028年，" 如果两家公司都要到2030-31年，我也不会感到惊讶 :) 感谢@theinformation @srimuppidi @amir的报道。

我想我得写一篇关于DeepSeek的Engram的长篇解释。 如果你想要一个解释，给这条帖子点赞 - 关于梯度如何通过哈希函数流向嵌入 - 或者它们如何融合成一个单一的FP8 MMA - 或者为什么他们在变换器中使用卷积

当RETRO发布时，我认为检索对于LLMs来说是一个大问题，可以减少参数数量，同时增加模型的知识深度。令我惊讶的是，许多公司避免了这个想法。 Whale将检索带到了桌面： > 最显著的是，虽然内存模块预计将有助于知识检索（例如，MMLU +3.4；CMMLU +4.0），但我们观察到在一般推理（例如，BBH +5.0；ARC-Challenge +3.7）和代码/数学领域（HumanEval +3.0；MATH +2.4）中甚至有更大的提升。机制分析表明，Engram减轻了主干早期层的静态重建，有效地加深了网络以进行复杂推理。