El artículo de TRM se siente como un avance significativo de IA. Destruye la frontera de Pareto en los puntos de referencia ARC AGI 1 y 2 (y la resolución de Sudoku y Maze) con un costo estimado < $ 0.01 por tarea y un costo < $ 500 para entrenar el modelo 7M en 2 H100 durante 2 días. [Especificaciones de entrenamiento y prueba] Para ARC, se entrenó con 160 ejemplos de ConceptARC. En el momento de la prueba, utiliza la respuesta más común de 1000 aumentos en el momento de la prueba e incrusta una forma fija de la tarea en la entrada. [Implicaciones de la industria] La mayoría de las empresas de IA hoy en día utilizan LLM de propósito general con indicaciones para tareas. Para tareas específicas, los modelos más pequeños pueden no solo ser más baratos, sino también de mucha mayor calidad. Las startups podrían (y deberían) entrenar modelos por < $ 1000 para subtareas específicas de "longitud fija" (extracción específica de PDF, pronóstico de series de tiempo, etc.) y usarlo como una herramienta para el modelo general no solo para impulsar el rendimiento, sino también para construir una IP significativa en la tarea que están tratando de automatizar.

Fuente: