🚀 擴展嵌入，而不僅僅是專家——為高效的 LLMs 引入一條新路徑。 關鍵發現：在高稀疏場景中，N-gram 嵌入比僅僅增加更多 MoE 專家產生更好的 Pareto 邊界。 因此，我們推出 LongCat-Flash-Lite——基於這一見解構建的第一個開源模型。 ⚙️ 68.5B 總參數（37.13B 非嵌入）| 2.9B~4.5B 活躍 📊 高性能：SWE-Bench 54.4 | τ²-Bench 72.8 | TerminalBench 33.75 📃 256K 上下文窗口（YARN 驅動） ✨ 優化於 Agentic/Coding，通用推理能力強 ⚡ ~700 tokens/s 峰值推理速度 結果：在其規模內實現具有競爭力的性能，成本和延遲顯著降低。 Hugging Face： 技術報告：

🚀 LongCat-Flash-Thinking-2601 技術報告 – 現已全面發布！ 主要見解： 🌍 大規模代理強化學習（14 頁深入分析！） 🔹 環境擴展：詳細介紹我們的自動化管道，能在 20 多個領域中構建 10,000 多個可執行、可驗證的環境。 🔹 強化學習基礎設施：升級的 DORA 框架，支持 32,000 多個並發環境的異步訓練，解決長尾和高度異質任務中的穩定性問題。 🛡️ 野外的穩健性 🔹 噪音注入：不再有 "溫室" 代理。我們系統地分析現實世界的噪音（用戶/工具噪音），並將其直接注入訓練循環中。 🔹 課程強化學習：基於課程的策略，逐步增強模型對混亂、不完美環境的抵抗力。 🧠 重思維框架 🔹 並行推理：通過生成多個獨立的推理軌跡來擴展廣度。 🔹 迭代總結：通過使用總結模型反思和綜合並行軌跡來擴展深度，然後做出最終決策。 🔹 上下文記憶：專門設計的記憶模塊，以保持長期推理的一致性。 ⚡ 鋸齒注意力 🔹 鋸齒連接設計結合 MLA + SSA，以減少計算，同時保留全局信息流。 🔹 中途訓練切換到稀疏變體，實現 1.5 倍的加速，並支持 1M 令牌上下文——為未來在長上下文代理推理中的突破奠定基礎。 🔹 探索： 📊 在關鍵代理基準中，開源模型中達到 SOTA：搜索、工具使用、數學推理和編碼。 如果您想了解更多詳細信息，隨時查看完整的技術報告。 • 論文： • 網站： • GitHub： • Hugging Face：

🚀 介紹 LongCat-Flash-Thinking-2601 — 一個為深度和一般代理思考而建的版本。 ✨ 亮點： 🤖 頂級代理能力 🔹 性能：頂級基準結果（TIR / 代理搜索 / 代理工具使用）；卓越的泛化能力，在複雜的隨機任務中超越 Claude 🔹 環境擴展：多個自動構建的高質量環境；密集的依賴圖 🔹 多環境強化學習：擴展 DORA（我們的強化學習基礎設施），支持大規模多環境代理訓練 🛡️ 現實世界的穩健性 🔹 性能：在混亂、不確定的場景中表現穩定（Vita-Noise & Tau^2-Noise） 🔹 噪音分析：系統性分析代理場景中的現實世界噪音 🔹 課程強化學習：在訓練過程中增加噪音類型和強度 🎯 重思考模式 ​🔹 平行思考：通過多個獨立的推理軌道擴展廣度 🔹 迭代總結：通過使用總結模型合成輸出來增強深度，支持迭代推理循環 📅 還有一件事：1M-token 上下文通過 Zigzag Attention 即將推出。 🔍 現在就試試： ✅ 此版本的 API 訪問也可用。 Hugging Face： GitHub：