热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Nouha Dziri
看到字节跳动致力于解决0梯度问题真是有趣。他们的想法是通过自适应计算预算来解决这个问题；而我们则从奖励的角度来处理。GRPO训练通常使用小而精心策划的数据集，这些数据需要非常困难，以提供丰富的学习信号并促进发现。在更简单的数据上训练只会加深模型在SFT/预训练中已经看到的内容！
10月2日 13:51
🚀 很高兴分享我们在字节跳动种子项目的工作！
Knapsack RL：通过预算分配解锁 LLM 的探索 🎒
在 LLM 训练中，探索至关重要但成本高昂。
均匀的投放分配是浪费：
✅ 简单任务 → 总是解决 → 0 梯度
❌ 难任务 → 总是失败 → 0 梯度
💡 我们的想法：将探索视为一个背包问题 → 在最重要的地方分配投放。
✨ 结果：
🔼 +20–40% 更多非零梯度
🧮 对于难任务最多可进行 93 次投放（无需额外计算）
📈 数学基准测试平均提高 2–4 分，峰值提升 9 分
💰 比均匀分配便宜约 2 倍
📄 论文：
53.63K
热门
排行
收藏