🚀 Élargir les embeddings, pas seulement les experts—introduisant un nouveau chemin pour des LLMs efficaces. Découverte clé : Dans des scénarios de haute sparsité, les embeddings N-gram offrent une meilleure frontière de Pareto que d'ajouter simplement plus d'experts MoE. Par conséquent, nous introduisons LongCat-Flash-Lite—le premier modèle open source construit sur cette idée. ⚙️ 68,5B Total Params (37,13B non-embedding) | 2,9B~4,5B Actifs 📊 Haute Performance : SWE-Bench 54,4 | τ²-Bench 72,8 | TerminalBench 33,75 📃 256K Fenêtre de Contexte (alimenté par YARN) ✨ Optimisé pour l'Agentic/Codage, fort en raisonnement général ⚡ ~700 tokens/s vitesse d'inférence de pointe Le résultat : Atteint une performance compétitive dans son échelle à un coût et une latence significativement inférieurs. Hugging Face : Rapport Technique :

🚀 Rapport Technique LongCat-Flash-Thinking-2601 – Maintenant entièrement publié ! Points clés : 🌍 RL agentique à grande échelle (14 pages d'analyses approfondies !) 🔹 Mise à l'échelle de l'environnement : Un aperçu détaillé de notre pipeline automatisé qui construit plus de 10 000 environnements exécutables et vérifiables dans plus de 20 domaines. 🔹 Infrastructure RL : Un cadre DORA amélioré qui prend en charge l'entraînement asynchrone avec plus de 32 000 environnements concurrents, s'attaquant aux problèmes de stabilité dans des tâches à longue traîne et hautement hétérogènes. 🛡️ Robustesse dans le monde réel 🔹 Injection de bruit : Fini les agents "greenhouse". Nous analysons systématiquement le bruit du monde réel (bruit utilisateur/outil) et l'injectons directement dans la boucle d'entraînement. 🔹 RL par curriculum : Une stratégie basée sur un curriculum qui renforce progressivement le modèle contre des environnements désordonnés et imparfaits. 🧠 Cadre de Heavy Thinking 🔹 Raisonnement parallèle : Élargit la portée en générant plusieurs trajectoires de raisonnement indépendantes. 🔹 Résumé itératif : Élargit la profondeur en utilisant un modèle de résumé pour réfléchir et synthétiser des trajectoires parallèles avant de prendre des décisions finales. 🔹 Mémoire contextuelle : Un module de mémoire conçu pour maintenir la cohérence du raisonnement sur de longues périodes. ⚡ Attention Zigzag 🔹 Conception de connectivité Zigzag combinant MLA + SSA pour réduire le calcul tout en préservant le flux d'informations global. 🔹 Changement en milieu d'entraînement vers des variantes éparses permettant un gain de vitesse de 1,5× et prenant en charge des contextes de 1M tokens — posant les bases pour de futures percées dans le raisonnement agentique à long contexte. 🔹 Explorer : 📊 Atteint SOTA parmi les modèles open-source à travers des benchmarks clés agentiques : recherche, utilisation d'outils, raisonnement mathématique et codage. Si vous souhaitez plus de détails, n'hésitez pas à consulter le rapport technique complet. • Document : • Site Web : • GitHub : • Hugging Face :

🚀 Présentation de LongCat-Flash-Thinking-2601 — Une version conçue pour une pensée agentique profonde et générale. ✨ Points forts : 🤖 Capacités d'agent de premier ordre 🔹 Performance : Résultats de benchmark de premier ordre (TIR / Recherche agentique / Utilisation d'outils agentiques) ; capacité de généralisation superbe, surpassant Claude dans des tâches complexes et aléatoires 🔹 Échelle d'environnement : Plusieurs environnements de haute qualité construits automatiquement ; graphique de dépendance dense 🔹 RL Multi-Environnement : DORA étendu (notre infrastructure RL), supportant un entraînement agentique multi-environnement à grande échelle 🛡️ Robustesse dans le monde réel 🔹 Performance : Performance solide dans des scénarios désordonnés et incertains (Vita-Noise & Tau^2-Noise) 🔹 Analyse du bruit : Analyse systématique du bruit du monde réel dans des scénarios agentiques 🔹 RL par curriculum : Augmentation du type et de l'intensité du bruit pendant l'entraînement 🎯 Mode de pensée intensive ​🔹 Pensée parallèle : Élargit la portée via plusieurs pistes de raisonnement indépendantes 🔹 Résumé itératif : Améliore la profondeur en utilisant un modèle de résumé pour synthétiser les sorties, soutenant des boucles de raisonnement itératives 📅 Une chose de plus : un contexte de 1M tokens via Zigzag Attention arrive bientôt. 🔍 Essayez-le maintenant : ✅ L'accès API pour cette version est également disponible. Hugging Face : GitHub :