Resultater fra Tiny Recursion Model (TRM) på ARC-AGI - ARC-AGI-1: 40 %, $1.76/oppgave - ARC-AGI-2: 6,2 %, $2,10/oppgave Takk til @jm_alexia for å bidra med TRM, en velskrevet, åpen kildekode og grundig forskning til samfunnet basert på HRM fra @makingAGI

Takk til @k_schuerholt for å gjengi disse resultatene for ARC-prisen, som var basert på hans tidligere HRM-analyse Våre reproduserte modellsjekkpunkter og reproduksjonsinstruksjoner er tilgjengelige på @huggingface

Våre notater: - TRM har høyere kjøretid enn HRM selv om den er mindre. Vår hypotese er at dette skyldes bakforplantning som skjer på tvers av alle trinn, mens HRM bare gjorde delvise trinn Åpent spørsmål: Er TRM bedre fordi det er smartere? Eller fordi den trener lenger? Hvis du brukte fast databehandling for begge, ville ytelsen vært den samme?

- Er TRM like robust for antall forsterkninger som HRM var? - Å bytte fra lineære lag til oppmerksomhet er interessant, oppmerksomhet utføres dårligere på en mindre oppgave. Hvorfor? Det kan være beregningsmessig mindre effektivt, men hvorfor er det så mye verre på Maze?

Vår oppfordring til fellesskapet: Split Pre-training og inferens i TRM Foreløpig er pre-trening og inferens koblet i TRM. Flere grupper med oppgaver må forhåndsopplæres på nytt. Denne utvidede TRM-en vil sannsynligvis kunne kjøre på Kaggle for ARC-prisen 2025

Kostnader for å reprodusere: * ARC-AGI-1 Offentlig: 9t 52m 6 * 2x8H100 * $8/time = $157.86 * ARC-AGI-1 Semi-privat: 11t 23m * 2x8H100 * $8/time = $176.38 * ARC-AGI-1 Offentlig: 9t 35m * 3x8H100 * $8/time = $216.58 * ARC-AGI-2 Semi-privat: 10t 30m * 3x8H100 * $8/time = $252