Документ TRM здається значним проривом у галузі штучного інтелекту. Він руйнує кордон парето на бенчмарках ARC AGI 1 і 2 (а також вирішення судоку і лабіринту) з вартістю estd < $0,01 за завдання і коштував < $500 на навчання моделі 7M на 2 H100 протягом 2 днів. [Специфіка навчання та тестування] Для ARC він тренувався на 160 прикладах з ConceptARC. Під час тестування він використовує найпоширенішу відповідь із 1000 доповнень під час тесту та вбудовує фіксовану форму завдання у вхідні дані. [Наслідки для галузі] Більшість компаній, що займаються штучним інтелектом, сьогодні використовують LLM загального призначення з підказками для виконання завдань. Для конкретних завдань менші моделі можуть бути не просто дешевшими, а набагато якіснішими! Стартапи можуть (і повинні) тренувати моделі за < $1000 для конкретних підзавдань «фіксованої довжини» (конкретне вилучення PDF, прогнозування часових рядів тощо) і використовувати це як інструмент для загальної моделі, щоб не тільки підвищити продуктивність, але й створити значущу IP-адресу на завданні, яке вони намагаються автоматизувати.

Джерело: