🚀 専門家だけでなく埋め込みのスケーリングも、効率的なLLMのための新しい道を導入すること。 重要な発見:高スパーシティのシナリオでは、Nグラム埋め込みは単にMoE専門家を追加するよりもより良いパレートフロンティアをもたらします。 そこで、この洞察に基づく初のオープンソースモデルであるLongCat-Flash-Liteをご紹介します。 ⚙️ 68.5B トータルパララム(37.13B 非埋め込み) |2.9B~4.5B アクティブ 📊 高性能:SWE-Bench 54.4 |τ²-ベンチ72.8 |ターミナルベンチ 33.75 📃 256K コンテキストウィンドウ(YARN駆動) ✨ エージェント/コーディングに最適化されており、一般的な推論力に優れています ⚡ ~700トークン/秒のピーク推論速度 その結果、規模内で競争力を、大幅に低コストと遅延で達成します。 ハグフェイス: テックレポート:

🚀 LongCat-Flash-Thinking-2601 技術レポート – 現在完全公開! 主な洞察: 🌍 大規模なエージェント型RL(14ページの深い掘り下げ!) 🔹 環境スケーリング:20+ドメインにまたがる10,000+実行可能で検証可能な環境を構築する自動化パイプラインの詳細な解説です。 🔹 強化学習インフラストラクチャ:32,000+の同時環境での非同期トレーニングをサポートするアップグレードされたDORAフレームワークで、ロングテールや高度に異種なタスクの安定性問題に取り組みます。 🛡️ 野生での頑健さ 🔹 ノイズ注入:もはや「温室効果」の成分は使わない。私たちは実際のノイズ(ユーザーやツールのノイズ)を体系的に分析し、それを直接トレーニングループに注入します。 🔹 カリキュラムRL:混沌として不完全な環境に対してモデルを徐々に強化するカリキュラムベースの戦略です。 🧠 ヘビーシンキングフレームワーク 🔹 並列推論:複数の独立した推論軌道を生成することで幅を広げます。 🔹 反復的要約:最終決定を下す前に、要約モデルを用いて並行した軌跡を振り返り統合し、深みを広げます。 🔹 コンテキストメモリ:長い範囲にわたって推論を一貫性を保つために設計された専用メモリモジュールです。 ⚡ ジグザグの注意 🔹 MLA+SSAを組み合わせたジグザグ接続設計で、計算量を削減しつつグローバルな情報フローを維持します。 🔹 トレーニング中にスパースバリアントへの切り替えは1.5×の高速化をもたらし、100万トークンのコンテキストをサポートし、長期コンテキストエージェント推論の将来のブレークスルーの基盤を築きます。 🔹 探求: 📊 SOTAを達成 検索、ツールの使用、数学的推論、コーディングなど、主要なエージェントベンチマークにわたるオープンソースモデル。 詳細が知りたい方は、ぜひ全文の技術レポートをご覧ください。 ・紙: ・ウェブサイト: • GitHub: ・ハグフェイス:

🚀 LongCat-Flash-Thinking-2601を紹介します — 深く一般的な主体的思考のために作られたバージョンです。 ✨ ハイライト: 🤖 トップティアエージェントの能力 🔹 パフォーマンス:トップティアのベンチマーク結果(TIR / Agentic Search / Agentic Tool Use);卓越した一般化能力、複雑でランダムなタスクでクロードを上回る能力 🔹 環境スケーリング:複数の自動構築された高品質環境;高密度依存グラフ 🔹 Multi-Env RL:拡張DORA(当社のRLインフラ)で、大規模なマルチ環境エージェントトレーニングをサポートします 🛡️ 現実世界のロバスト性 🔹 パフォーマンス:混沌として不確実な状況(Vita-NoiseおよびTau^2-Noise)での安定したパフォーマンス 🔹 ノイズ解析:エージェント的シナリオにおける現実世界のノイズを体系的に解析 🔹 カリキュラム強化学習:トレーニング中の騒音の種類と強度の増加 🎯 ヘビーシンキングモード 🔹 並行思考:複数の独立した推論トラックを通じて幅を広げる 🔹 反復的要約:要約モデルを用いて出力を統合し、反復的推論ループをサポートすることで深みを深めます 📅 もう一つ:Zigzagによる1Mトークンコンテキストが近日公開されます。 🔍 今すぐ試してみてください: ✅ このバージョンのAPIアクセスも利用可能です。 ハグフェイス: GitHub: