热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
微小递归模型(TRM)在ARC-AGI上的结果
- ARC-AGI-1: 40%,$1.76/任务
- ARC-AGI-2: 6.2%,$2.10/任务
感谢@jm_alexia为社区贡献TRM,这是一项基于@makingAGI的HRM的优秀、开源且全面的研究。

感谢 @k_schuerholt 为 ARC Prize 复制这些结果,这些结果基于他之前的 HRM 分析。
我们复制的模型检查点和复制说明可在 @huggingface 上获得。
我们的笔记:
- TRM 的运行时间比 HRM 更长,尽管它更小。我们的假设是这是因为反向传播在所有步骤中发生,而 HRM 只进行了部分步骤。
开放问题:TRM 更好是因为它更聪明吗?还是因为它训练时间更长?如果对两者都使用固定计算,性能会相同吗?
- TRM在增强数量上是否与HRM一样强大?
- 从线性层切换到注意力机制很有趣,但在较小的任务上,注意力的表现更差。为什么?
这可能在计算上效率较低,但为什么在Maze上表现得那么差?
我们对社区的呼吁:在TRM中分离预训练和推理
目前,预训练和推理在TRM中是耦合在一起的。额外的任务批次需要重新进行预训练。
这个增强的TRM可能能够在Kaggle上运行,以参加2025年ARC奖。
复制成本:
* ARC-AGI-1 公共:9小时52分钟6 * 2x8H100 * 每小时$8 = $157.86
* ARC-AGI-1 半私密:11小时23分钟 * 2x8H100 * 每小时$8 = $176.38
* ARC-AGI-1 公共:9小时35分钟 * 3x8H100 * 每小时$8 = $216.58
* ARC-AGI-2 半私密:10小时30分钟 * 3x8H100 * 每小时$8 = $252
253.62K
热门
排行
收藏