🚀 Масштабирование эмбеддингов, а не просто экспертов — представляем новый путь для эффективных LLM. Ключевая находка: в условиях высокой разреженности эмбеддинги N-грамм обеспечивают лучшую границу Парето, чем просто добавление большего количества экспертов MoE. Поэтому мы представляем LongCat-Flash-Lite — первую открытую модель, созданную на основе этого инсайта. ⚙️ 68.5B Всего параметров (37.13B не эмбеддинги) | 2.9B~4.5B Активные 📊 Высокая производительность: SWE-Bench 54.4 | τ²-Bench 72.8 | TerminalBench 33.75 📃 256K Контекстное окно (на базе YARN) ✨ Оптимизирован для агентного/кодирования, силен в общем рассуждении ⚡ ~700 токенов/с пиковая скорость вывода Результат: достигает конкурентоспособной производительности в своем масштабе при значительно более низкой стоимости и задержке. Hugging Face: Технический отчет:

🚀 Технический отчет LongCat-Flash-Thinking-2601 – теперь полностью выпущен! Ключевые идеи: 🌍 Агентное обучение с подкреплением в большом масштабе (14 страниц глубокого анализа!) 🔹 Масштабирование среды: Подробный обзор нашего автоматизированного конвейера, который создает более 10,000 исполняемых, проверяемых сред в более чем 20 областях. 🔹 Инфраструктура RL: Обновленная структура DORA, которая поддерживает асинхронное обучение с более чем 32,000 параллельными средами, решая проблемы стабильности в задачах с длинным хвостом и высокой гетерогенностью. 🛡️ Робустность в дикой природе 🔹 Инъекция шума: Больше никаких "тепличных" агентов. Мы систематически анализируем шум в реальном мире (шум от пользователей/инструментов) и вводим его непосредственно в цикл обучения. 🔹 Учебный RL: Стратегия на основе учебного плана, которая постепенно усложняет модель в условиях неаккуратной, несовершенной среды. 🧠 Фреймворк Heavy Thinking 🔹 Параллельное рассуждение: Расширяет широту, генерируя несколько независимых траекторий рассуждения. 🔹 Итеративное обобщение: Расширяет глубину, используя модель обобщения для размышления и синтеза параллельных траекторий перед принятием окончательных решений. 🔹 Контекстная память: Специально разработанный модуль памяти для поддержания согласованности рассуждений на длинных горизонтах. ⚡ Зигзагообразное внимание 🔹 Дизайн зигзагообразной связности, объединяющий MLA + SSA для снижения вычислений при сохранении глобального потока информации. 🔹 Переключение на разреженные варианты в середине обучения дает ускорение в 1.5× и поддерживает контексты на 1M токенов — закладывая основу для будущих прорывов в агентном рассуждении с длинным контекстом. 🔹 Исследуйте： 📊 Достигает SOTA среди моделей с открытым исходным кодом по ключевым агентным бенчмаркам: поиск, использование инструментов, математическое рассуждение и программирование. Если вы хотите больше деталей, не стесняйтесь ознакомиться с полным техническим отчетом. • Статья: • Веб-сайт: • GitHub: • Hugging Face:

🚀 Представляем LongCat-Flash-Thinking-2601 — версию, созданную для глубокого и общего агентного мышления. ✨ Основные моменты: 🤖 Возможности агентов высшего уровня 🔹 Производительность: Результаты на высшем уровне (TIR / Агентный поиск / Использование агентных инструментов); превосходная способность к обобщению, превосходящая Claude в сложных, случайных задачах 🔹 Масштабирование окружения: Множество автоматически созданных высококачественных окружений; плотный граф зависимостей 🔹 Многоокруженческий RL: Расширенный DORA (наша инфраструктура RL), поддерживающая обучение агентного типа в условиях большого масштаба с несколькими окружениями 🛡️ Робустность в реальном мире 🔹 Производительность: Устойчивые результаты в запутанных, неопределенных сценариях (Vita-Noise и Tau^2-Noise) 🔹 Анализ шума: Систематически проанализированный реальный шум в агентных сценариях 🔹 Учебный RL: Увеличение типа и интенсивности шума во время обучения 🎯 Режим тяжелого мышления ​🔹 Параллельное мышление: Расширяет охват за счет нескольких независимых треков рассуждений 🔹 Итеративное обобщение: Углубляет анализ, используя модель обобщения для синтеза выходных данных, поддерживая итеративные циклы рассуждений 📅 И еще одно: контекст на 1M токенов через Zigzag Attention скоро появится. 🔍 Попробуйте сейчас: ✅ Доступ к API для этой версии также доступен. Hugging Face: GitHub: