TRM-artikkelen føles som et betydelig AI-gjennombrudd. Den ødelegger pareto-grensen på ARC AGI 1 og 2 benchmarks (og Sudoku og Maze-løsning) med en estd < $0.01 kostnad per oppgave og koster < $500 for å trene 7M-modellen på 2 H100-er i 2 dager. [Opplærings- og testspesifikasjoner] For ARC trente den på 160 eksemplarer fra ConceptARC. På testtidspunktet bruker den det vanligste svaret på 1000 utvidelser på testtidspunktet og legger inn en fast form for oppgaven i inndataene. [Implikasjoner for bransjen] De fleste AI-selskaper bruker i dag LLM-er for generell bruk med oppfordring til oppgaver. For spesifikke oppgaver kan mindre modeller ikke bare være billigere, men langt høyere kvalitet! Startups kan (og bør) trene modeller for < $1000 for spesifikke "fast lengde"-deloppgaver (spesifikk PDF-utvinning, tidsserieprognoser osv.) og bruke den som et verktøy for den generelle modellen for ikke bare å presse ytelsen, men bygge en meningsfull IP på oppgaven de prøver å automatisere.

Kilde: