El documento TRM parece un avance significativo en IA. Destruye la frontera de Pareto en los benchmarks ARC AGI 1 y 2 (y en la resolución de Sudoku y laberintos) con un costo estimado de < $0.01 por tarea y un costo < $500 para entrenar el modelo de 7M en 2 H100 durante 2 días. [Especificaciones de entrenamiento y prueba] Para ARC, se entrenó con 160 ejemplos de ConceptARC. En el momento de la prueba, utiliza la respuesta más común de 1000 aumentaciones y embebe una forma fija de la tarea en la entrada. [Implicaciones para la industria] La mayoría de las empresas de IA hoy en día utilizan LLMs de propósito general con indicaciones para tareas. Para tareas específicas, ¡los modelos más pequeños pueden no solo ser más baratos, sino de calidad mucho más alta! Las startups podrían (y deberían) entrenar modelos por < $1000 para "subtareas de longitud fija" específicas (extracción de PDF específica, pronóstico de series temporales, etc.) y usarlos como una herramienta para el modelo general no solo para mejorar el rendimiento, sino para construir propiedad intelectual significativa en la tarea que intentan automatizar.

Fuente: