Il documento TRM sembra rappresentare un significativo progresso nell'AI. Distrugge il confine di Pareto nei benchmark ARC AGI 1 e 2 (e nella risoluzione di Sudoku e Labirinti) con un costo stimato < $0,01 per compito e un costo < $500 per addestrare il modello da 7M su 2 H100 per 2 giorni. [Specifiche di addestramento e test] Per ARC, è stato addestrato su 160 esempi da ConceptARC. Al momento del test, utilizza la risposta più comune di 1000 aumentazioni e incorpora una forma fissa del compito nell'input. [Implicazioni per l'industria] La maggior parte delle aziende AI oggi utilizza LLM generali con prompting per i compiti. Per compiti specifici, modelli più piccoli potrebbero non solo essere più economici, ma anche di qualità molto superiore! Le startup potrebbero (e dovrebbero) addestrare modelli per < $1000 per "sottocompiti" a "lunghezza fissa" (estrazione specifica di PDF, previsione di serie temporali, ecc.) e usarli come strumento per il modello generale non solo per migliorare le prestazioni, ma anche per costruire una proprietà intellettuale significativa nel compito che stanno cercando di automatizzare.

Fonte: