🚀 Skalierung von Embeddings, nicht nur von Experten – wir stellen einen neuen Weg für effiziente LLMs vor. Wichtiges Ergebnis: In Szenarien mit hoher Sparsamkeit liefern N-Gramm-Embeddings eine bessere Pareto-Front als nur das Hinzufügen weiterer MoE-Experten. Daher stellen wir LongCat-Flash-Lite vor – das erste Open-Source-Modell, das auf dieser Erkenntnis basiert. ⚙️ 68,5B Gesamtparameter (37,13B nicht-Embedding) | 2,9B~4,5B aktiv 📊 Hohe Leistung: SWE-Bench 54,4 | τ²-Bench 72,8 | TerminalBench 33,75 📃 256K Kontextfenster (YARN-unterstützt) ✨ Optimiert für Agentic/Coding, stark im allgemeinen Denken ⚡ ~700 Tokens/s Spitzeninferenzgeschwindigkeit Das Ergebnis: Erreicht wettbewerbsfähige Leistung innerhalb seines Maßstabs zu deutlich niedrigeren Kosten und Latenz. Hugging Face: Technischer Bericht:

🚀 LongCat-Flash-Thinking-2601 Technischer Bericht – Jetzt vollständig veröffentlicht! Wichtige Erkenntnisse: 🌍 Großangelegte agentische RL (14 Seiten tiefgehende Analysen!) 🔹 Umgebungs-Skalierung: Ein detaillierter Blick auf unsere automatisierte Pipeline, die über 10.000 ausführbare, verifizierbare Umgebungen in über 20 Domänen erstellt. 🔹 RL-Infrastruktur: Ein verbessertes DORA-Framework, das asynchrones Training mit über 32.000 gleichzeitigen Umgebungen unterstützt und Stabilitätsprobleme bei langanhaltenden und hochheterogenen Aufgaben angeht. 🛡️ Robustheit in der Wildnis 🔹 Geräuschinjektion: Keine "Gewächshaus"-Agenten mehr. Wir analysieren systematisch reale Geräusche (Benutzer-/Werkzeuggeräusche) und injizieren sie direkt in die Trainingsschleife. 🔹 Curriculum RL: Eine curriculum-basierte Strategie, die das Modell schrittweise gegen unordentliche, unvollkommene Umgebungen stärkt. 🧠 Heavy Thinking-Framework 🔹 Paralleles Denken: Erweitert die Breite, indem mehrere unabhängige Denktrajektorien generiert werden. 🔹 Iterative Zusammenfassung: Erweitert die Tiefe, indem ein Zusammenfassungsmodell verwendet wird, um parallele Trajektorien zu reflektieren und zu synthetisieren, bevor endgültige Entscheidungen getroffen werden. 🔹 Kontextgedächtnis: Ein speziell entwickeltes Gedächtnismodul, um das Denken über lange Zeiträume kohärent zu halten. ⚡ Zigzag-Attention 🔹 Zigzag-Konnektivitätsdesign, das MLA + SSA kombiniert, um den Rechenaufwand zu reduzieren und gleichzeitig den globalen Informationsfluss zu erhalten. 🔹 Mid-Training-Wechsel zu spärlichen Varianten führt zu einer 1,5-fachen Beschleunigung und unterstützt 1M-Token-Kontexte – legt den Grundstein für zukünftige Durchbrüche im agentischen Denken mit langen Kontexten. 🔹 Erkunden: 📊 Erreicht SOTA unter Open-Source-Modellen über wichtige agentische Benchmarks: Suche, Werkzeugnutzung, mathematisches Denken und Programmierung. Wenn Sie mehr Details möchten, können Sie gerne den vollständigen technischen Bericht einsehen. • Papier: • Website: • GitHub: • Hugging Face:

🚀 Einführung von LongCat-Flash-Thinking-2601 — Eine Version, die für tiefes und allgemeines agentisches Denken entwickelt wurde. ✨ Highlights: 🤖 Top-Tier-Agentenfähigkeiten 🔹 Leistung: Top-Tier-Benchmark-Ergebnisse (TIR / Agentisches Suchen / Agentische Werkzeugnutzung); hervorragende Generalisierungsfähigkeit, die Claude bei komplexen, zufälligen Aufgaben übertrifft 🔹 Umwelt-Skalierung: Mehrere automatisch konstruierte hochwertige Umgebungen; dichter Abhängigkeitsgraph 🔹 Multi-Env RL: Erweiterte DORA (unsere RL-Infrastruktur), die groß angelegtes agentisches Training in mehreren Umgebungen unterstützt 🛡️ Robustheit in der realen Welt 🔹 Leistung: Solide Leistung in chaotischen, unsicheren Szenarien (Vita-Noise & Tau^2-Noise) 🔹 Geräuschanalyse: Systematische Analyse von realen Geräuschen in agentischen Szenarien 🔹 Curriculum RL: Zunehmende Geräuscharten und -intensität während des Trainings 🎯 Schwerer Denkmodus ​🔹 Paralleles Denken: Erweitert die Breite durch mehrere unabhängige Denkstränge 🔹 Iterative Zusammenfassung: Verbessert die Tiefe durch die Verwendung eines Zusammenfassungsmodells zur Synthese von Ausgaben, das iterative Denkschleifen unterstützt 📅 Noch eine Sache: 1M-Token-Kontext über Zigzag Attention kommt bald. 🔍 Probieren Sie es jetzt aus: ✅ API-Zugang für diese Version ist ebenfalls verfügbar. Hugging Face: GitHub: