Результати моделі Tiny Recursion Model (TRM) на ARC-AGI - ARC-AGI-1: 40%, $1,76/завдання - ARC-AGI-2: 6,2%, $2,10/завдання Дякуємо @jm_alexia за внесок у TRM, добре написане, з відкритим вихідним кодом та ретельне дослідження для спільноти, засноване на HRM від @makingAGI

Дякую @k_schuerholt за відтворення цих результатів для ARC Prize, які були засновані на його попередньому аналізі HRM Наші контрольні точки відтвореної моделі та інструкції з відтворення доступні на @huggingface

Наші примітки: - TRM має вищий час роботи, ніж HRM, хоча він менший. Наша гіпотеза полягає в тому, що зворотне поширення відбувається на всіх етапах, тоді як HRM робить лише часткові кроки Відкрите питання: Чи TRM кращий, тому що він розумніший? Або тому, що він тренується довше? Якби ви використовували фіксовані обчислення для обох, продуктивність була б однаковою?

- Чи є TRM такою ж стійкою до кількості збільшень, як і HRM? - Цікаве перемикання з лінійних шарів на увагу, на меншому завданні увага виконується гірше. Чому? Він може бути менш ефективним з обчислювальної точки зору, але чому він набагато гірший у Лабіринті?

Наш заклик до спільноти: Розділене попереднє навчання та висновок у TRM В даний час попереднє навчання і висновок поєднуються в ТРМ. Додаткові партії завдань потрібно знову ж таки попередньо тренувати. Цей доповнений TRM, швидше за все, зможе працювати на Kaggle для ARC Prize 2025

Витрати на розмноження: * ARC-AGI-1 Громадський: 9 год 52 хв 6 * 2x8 год * 8 доларів США / год = 157,86 доларів США * ARC-AGI-1 Напівприватний: 11 год 23 хв * 2х8 год 100 * 8 доларів США / год = 176,38 доларів США * ARC-AGI-1 Громадський: 9 год 35 хв * 3х8 год 100 * 8 доларів США / год = 216,58 доларів США * ARC-AGI-2 Напівприватний: 10 год 30 хв * 3х8 год 100 * 8 доларів США / год = 252 $