Het TRM-document voelt als een belangrijke doorbraak in AI. Het vernietigt de pareto-grens op de ARC AGI 1 en 2 benchmarks (en Sudoku en doolhofoplossing) met een geschatte kostprijs van < $0,01 per taak en kosten < $500 om het 7M-model op 2 H100's gedurende 2 dagen te trainen. [Training en test specifics] Voor ARC is het getraind op 160 voorbeelden van ConceptARC. Tijdens de test gebruikt het het meest voorkomende antwoord van 1000 augmentaties tijdens de test en embed een vaste vorm van de taak in de invoer. [Industrie-implicaties] De meeste AI-bedrijven gebruiken vandaag de dag algemene LLM's met prompting voor taken. Voor specifieke taken kunnen kleinere modellen niet alleen goedkoper zijn, maar ook van veel hogere kwaliteit! Startups zouden (en zouden moeten) modellen kunnen trainen voor < $1000 voor specifieke "vaste lengte" subtaken (specifieke PDF-extractie, tijdreeksvoorspelling, enz.) en het gebruiken als een hulpmiddel voor het algemene model om niet alleen de prestaties te verbeteren, maar ook enige betekenisvolle IP op te bouwen bij de taak die ze proberen te automatiseren.

Bron: