AI真的能自動化工作嗎？ @Scale_AI 和 @ai_risks 正在推出遠程勞動指數（RLI），這是第一個基準和公共排行榜，測試AI代理在軟體工程、設計、建築、數據分析等領域完成真實、有償自由職業工作的能力。 初步結果顯示當前模型的局限性。最頂尖的AI代理僅完成了2.5%的真實自由職業工作，表現優於人類。AI很強大，但尚未可靠到可以取代熟練勞動力。 RLI為我們提供了一種透明的方式來追蹤進展，並為未來的工作帶來清晰度。

新的 @Scale_AI 論文！ 獎勵駭客的罪魁禍首是什麼？我們追溯到高獎勵尾部的錯誤規範。 我們的解決方案：基於標準的獎勵來區分「優秀」的回應和「出色」的回應。 結果：減少駭客行為，增強後訓練效果！

🚀 介紹SWE-Bench Pro — 一個新的基準，用於評估LLM編碼代理在真實的企業級軟件工程任務上的表現。 這是SWE-Bench的下一步：更難，抗汙染，更接近真實世界的代碼庫。