我不是在開玩笑，當我看到原始的 ANthropic 計劃、DC 建設的規模和盈利預測時，我心想「好吧，如果這是他們的計劃，那麼他們的野心不夠，無法與 Sama 競爭」。 對某些人來說，這似乎是一個愚蠢的看法。好吧，我們來看看 :) 「但是，包括訓練和運行其 AI 模型的費用也在快速增長，超過了收入。因此，Anthropic 推遲了預計實現現金流正向的時間到 2028 年，」 如果兩家公司都要到 2030-31 年，我也不會感到驚訝 :) 感謝 @theinformation @srimuppidi @amir 的報導

我想我得寫一篇關於 DeepSeek 的 Engram 的長篇解釋。 如果你想要一個解釋，請點贊這篇文章 - 如何通過哈希函數將梯度流向嵌入 - 或它們如何融合成一個單一的 FP8 MMA - 或者為什麼他們在變壓器中使用卷積

當RETRO發布時，我認為檢索對於LLMs來說是一個重要的問題，可以在減少參數數量的同時增加模型的知識深度。令我驚訝的是，許多公司避開了這個想法。 Whale將檢索帶到了桌面上： > 最值得注意的是，儘管記憶模塊預期能幫助知識檢索（例如，MMLU +3.4；CMMLU +4.0），但我們觀察到在一般推理（例如，BBH +5.0；ARC-Challenge +3.7）和代碼/數學領域（HumanEval +3.0；MATH +2.4）中甚至有更大的增益。機械分析顯示，Engram使骨幹的早期層免於靜態重建，有效地加深了網絡以進行複雜推理。