Článek TRM působí jako významný průlom v oblasti umělé inteligence. Ničí hranici pareta na benchmarkech ARC AGI 1 a 2 (a řešení sudoku a bludiště) s estd < náklady 0,01 USD za úkol a náklady < 500 USD na trénování modelu 7M na 2 H100 po dobu 2 dnů. [Specifika školení a testu] Pro ARC se trénovalo na 160 příkladech od společnosti ConceptARC. V době testu používá nejběžnější odpověď 1000 rozšíření v době testu a do vstupu vkládá pevný tvar úkolu. [Důsledky pro průmysl] Většina společností zabývajících se umělou inteligencí dnes používá univerzální LLM s výzvami k zadání úkolů. Pro specifické úkoly mohou být menší modely nejen levnější, ale také mnohem kvalitnější! Startupy by mohly (a měly by) trénovat modely za < 1000 dolarů pro specifické dílčí úkoly "pevné délky" (specifická extrakce PDF, předpovídání časových řad atd.) a používat je jako nástroj k obecnému modelu, aby nejen zvýšily výkon, ale vybudovaly nějakou smysluplnou IP v úkolu, který se snaží automatizovat.

Zdroj: