熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
Nouha Dziri
看到字節跳動致力於解決0梯度問題真是有趣。他們的想法是通過自適應計算預算來解決這個問題；我們則從獎勵的角度來看待它。GRPO訓練通常使用小型、精心策劃的數據集，數據需要非常困難，以提供豐富的學習信號並促進發現。使用較簡單的數據進行訓練只會加強模型在SFT/預訓練中已經看到的內容！
2025年10月2日
🚀 很高興能分享我們在 Bytedance Seed 的工作！
Knapsack RL：通過預算分配解鎖 LLM 的探索 🎒
在 LLM 訓練中的探索至關重要，但成本高昂。
均勻的推出分配是浪費：
✅ 簡單任務 → 總是解決 → 0 梯度
❌ 難任務 → 總是失敗 → 0 梯度
💡 我們的想法：將探索視為一個背包問題 → 在最重要的地方分配推出。
✨ 結果：
🔼 +20–40% 更多非零梯度
🧮 對於難任務最多可達 93 次推出（無需額外計算）
📈 整體平均提高 2–4 分，數學基準測試峰值增益 +9
💰 比均勻分配便宜約 2 倍
📄 論文：
53.66K
熱門
排行
收藏