🚀 Skalering av embeddings, ikke bare eksperter – som introduserer en ny vei for effektive LLM-er. Hovedfunn: I scenarioer med høy sparsitet gir N-gram-innleiringer en bedre Pareto-grense enn bare å legge til flere MoE-eksperter. Derfor introduserer vi LongCat-Flash-Lite – den første åpen kildekode-modellen bygget på denne innsikten. ⚙️ 68,5 milliarder totale parametere (37,13 milliarder ikke-embedding) | 2.9B~4.5B Aktiv 📊 Høy ytelse: SWE-Bench 54.4 | τ²-Bench 72.8 | TerminalBench 33,75 📃 256K kontekstvindu (YARN-drevet) ✨ Optimalisert for agentisk/koding, sterk i generell resonnement ⚡ ~700 tokens/s topp inferenshastighet Resultatet: Oppnår konkurransedyktig ytelse innenfor skalaen til betydelig lavere kostnad og latenstid. Klemmeansikt: Teknisk rapport:

🚀 LongCat-Flash-Thinking-2601 teknisk rapport – nå fullt utgitt! Viktige innsikter: 🌍 Storskala agentisk RL (14 sider med dypdykker!) 🔹 Miljøskalering: En detaljert gjennomgang av vår automatiserte pipeline som bygger 10 000+ kjørbare, verifiserbare miljøer på tvers av 20+ domener. 🔹 RL-infrastruktur: Et oppgradert DORA-rammeverk som støtter asynkron trening med 32 000+ samtidige miljøer, og tar tak i stabilitetsproblemer i langhalede og svært heterogene oppgaver. 🛡️ Robusthet i naturen 🔹 Støyinjeksjon: Ikke flere "drivhus"-midler. Vi analyserer systematisk støy fra den virkelige verden (bruker-/verktøystøy) og injiserer den direkte i treningssløyfen. 🔹 Curriculum RL: En læreplanbasert strategi som gradvis gjør modellen tøffere mot rotete, ufullkomne miljøer. 🧠 Heavy Thinking-rammeverk 🔹 Parallell resonnering: Utvider bredden ved å generere flere uavhengige resonnementsbaner. 🔹 Iterativ oppsummering: Utvider dybden ved å bruke en oppsummeringsmodell for å reflektere over og syntetisere parallelle forløp før endelige beslutninger tas. 🔹 Kontekstminne: En spesialbygd minnemodul for å holde resonnementet sammenhengende over lange horisonter. ⚡ Sikksakk-oppmerksomhet 🔹 Zigzag-tilkoblingsdesign kombinerer MLA + SSA for å redusere beregningskraft samtidig som global informasjonsflyt bevares. 🔹 Overgang midt i trening til sparsomme varianter gir en hastighetsøkning på 1,5 × og støtter 1M-token-kontekster — noe som legger grunnlaget for fremtidige gjennombrudd innen lang-kontekst agentisk resonnement. 🔹 Utforsk: 📊 Oppnår SOTA blant Åpen kildekode-modeller på tvers av sentrale agentiske referansepunkter: søk, verktøybruk, matematisk resonnement og koding. Hvis du vil ha flere detaljer, er det bare å sjekke ut hele den tekniske rapporten. • Artikkel: • Nettside: • GitHub: • Klemmeansikt:

🚀 Vi introduserer LongCat-Flash-Thinking-2601 — En versjon bygget for dyp og generell agentisk tenkning. ✨ Høydepunkter: 🤖 Topp Tier agentkapasiteter 🔹 Ytelse: Toppnivå benchmarkresultater (TIR / Agentisk søk / Bruk av agentisk verktøy); utmerket generaliseringsevne, og overgår Claude i komplekse, tilfeldige oppgaver 🔹 Miljøskala: Flere automatisk konstruerte miljøer av høy kvalitet; Tett avhengighetsgraf 🔹 Multi-Env RL: Utvidet DORA (vår RL-infrastruktur), som støtter storskala multi-miljø agentisk trening 🛡️ Robusthet i den virkelige verden 🔹 Ytelse: Solid ytelse i rotete, usikre situasjoner (Vita-Noise & Tau^2-Noise) 🔹 Støyanalyse: Systematisk analysert støy i den virkelige verden i agentiske scenarier 🔹 Læreplan RL: Økt støytype og intensitet under trening 🎯 Tung tenkemodus 🔹 Parallell tenkning: Utvider bredden via flere uavhengige resonnementsspor 🔹 Iterativ oppsummering: Forbedrer dybden ved å bruke en oppsummeringsmodell for å syntetisere utdata, og støtter iterative resonnementsløkker 📅 En ting til: 1M-token-kontekst via Zigzag Attention kommer snart. 🔍 Prøv nå: ✅ API-tilgang for denne versjonen er også tilgjengelig. Klemmeansikt: GitHub: