🚀 Масштабування вкладень, а не лише експертів — впровадження нового шляху для ефективних LLM. Ключове висновки: У ситуаціях з високою рідкістю N-грамові вкладення дають кращу межу Парето, ніж просто додавання додаткових експертів з MoE. Тому ми представляємо LongCat-Flash-Lite — першу модель з відкритим кодом, побудовану на цьому розумінні. ⚙️ 68.5B Всього параметрів (37.13B без вбудовування) | 2.9B~4.5B Активна 📊 Висока продуктивність: SWE-Bench 54.4 | τ²-Bench 72.8 | TerminalBench 33.75 📃 Контекстне вікно 256K (YARN) ✨ Оптимізований для агентного/кодування, сильний у загальному мисленні ⚡ ~700 токенів/с пікової швидкості виведення Результат: Досягає конкурентоспроможних результатів у межах свого масштабу з значно нижчою вартістю та затримкою. Обіймаючи обличчя: Технічний звіт:

🚀 Технічний звіт LongCat-Flash-Thinking-2601 – тепер повністю опубліковано! Ключові інсайти: 🌍 Великомасштабний агентний RL (14 сторінок глибоких занурень!) 🔹 Масштабування середовища: детальний огляд нашого автоматизованого конвеєра, який створює 10 000+ виконуваних, перевірених середовищ у 20+ доменах. 🔹 Інфраструктура RL: Оновлений фреймворк DARA, який підтримує асинхронне навчання у 32 000+ одночасних середовищах, вирішуючи проблеми стабільності у довгохвостих і дуже гетерогенних завданнях. 🛡️ Міцність у дикій природі 🔹 Шумове впорскування: більше ніяких «парникових» агентів. Ми систематично аналізуємо реальний шум (шум користувача/інструменту) і вводимо його безпосередньо в навчальний цикл. 🔹 Curriculum RL: Стратегія на основі навчальної програми, яка поступово посилює модель проти брудних, недосконалих умов. 🧠 Фреймворк важкого мислення 🔹 Паралельне мислення: Розширює широту, генеруючи кілька незалежних траєкторій мислення. 🔹 Ітеративне узагальнення: Розширює глибину, використовуючи підсумкову модель для рефлексії та синтезу паралельних траєкторій перед прийняттям остаточних рішень. 🔹 Контекстна пам'ять: спеціально створений модуль пам'яті для підтримки логік узгодженим протягом довгих горизонтів. ⚡ Зигзаг уваги 🔹 Зигзагоподібне проєктування зв'язків, що поєднує MLA + SSA для зменшення обчислювальної потужності при збереженні глобального інформаційного потоку. 🔹 Перехід на розріджені варіанти під час навчання дає прискорення на 1,5× і підтримує контексти 1M-токенів — закладаючи основу для майбутніх проривів у агентному мисленні довгого контексту. 🔹 Досліджувати: 📊 Досягає SOTA серед Відкриті моделі на ключових агентних бенчмарках: пошук, використання інструментів, математичне мислення та кодування. Якщо хочете більше деталей, не соромтеся ознайомитися з повним технічним звітом. • Папер: • Вебсайт: • GitHub: • Обіймаюче обличчя:

🚀 Знайомтеся з LongCat-Flash-Thinking-2601 — версія, створена для глибокого та загального агентного мислення. ✨ Основні моменти: 🤖 Можливості найвищого рівня агентів 🔹 Продуктивність: Результати найвищого рівня бенчмарків (TIR / агентний пошук / використання агентних інструментів); відмінна здатність до узагальнення, перевершуючи Клода у складних, випадкових завданнях 🔹 Масштабування середовища: Кілька автоматично створених високоякісних середовищ; Щільний граф залежностей 🔹 Multi-Env RL: розширена DORA (наша RL-інфраструктура), що підтримує масштабне багато-середовище агентного навчання 🛡️ Реальна міцність 🔹 Продуктивність: Надійна продуктивність у складних, невизначених ситуаціях (Vita-Noise і Tau^2-Noise) 🔹 Аналіз шуму: систематично аналізований реальний шум у агентних сценаріях 🔹 Навчальна програма RL: Збільшення типу та інтенсивності шуму під час тренувань 🎯 Режим важкого мислення 🔹 Паралельне мислення: Розширює широту через кілька незалежних шляхів мислення 🔹 Ітеративне узагальнення: Збільшує глибину завдяки використанню підсумкової моделі для синтезу результатів, підтримуючи ітеративні цикли мислення 📅 Ще одне: контекст 1M-token через Zigzag Attention скоро з'явиться. 🔍 Спробуйте зараз: ✅ Доступ до API для цієї версії також доступний. Обіймаючи обличчя: GitHub: