Le document TRM semble être une avancée significative en matière d'IA. Il détruit la frontière de Pareto sur les benchmarks ARC AGI 1 et 2 (ainsi que la résolution de Sudoku et de labyrinthes) avec un coût estimé < 0,01 $ par tâche et un coût < 500 $ pour entraîner le modèle de 7 millions de paramètres sur 2 H100 pendant 2 jours. [Spécificités de l'entraînement et des tests] Pour ARC, il a été entraîné sur 160 exemples de ConceptARC. Au moment du test, il utilise la réponse la plus courante parmi 1000 augmentations et intègre une forme fixe de la tâche dans l'entrée. [Implications pour l'industrie] La plupart des entreprises d'IA aujourd'hui utilisent des LLM à usage général avec des incitations pour les tâches. Pour des tâches spécifiques, des modèles plus petits peuvent non seulement être moins chers, mais aussi de bien meilleure qualité ! Les startups pourraient (et devraient) entraîner des modèles pour < 1000 $ pour des sous-tâches "de longueur fixe" (extraction spécifique de PDF, prévisions de séries temporelles, etc.) et l'utiliser comme un outil pour le modèle général afin non seulement d'améliorer les performances, mais aussi de construire une propriété intellectuelle significative sur la tâche qu'elles essaient d'automatiser.

Source :