Makalah TRM terasa seperti terobosan AI yang signifikan. Ini menghancurkan perbatasan pareto pada tolok ukur ARC AGI 1 dan 2 (dan pemecahan Sudoku dan Maze) dengan biaya estd < $ 0,01 per tugas dan biaya < $ 500 untuk melatih model 7 juta pada 2 H100 selama 2 hari. [Spesifikasi pelatihan dan pengujian] Untuk ARC, ia dilatih pada 160 contoh dari ConceptARC. Pada waktu pengujian, ia menggunakan jawaban paling umum dari 1000 augmentasi pada waktu pengujian dan menyematkan bentuk tetap tugas dalam input. [Implikasi industri] Sebagian besar perusahaan AI saat ini menggunakan LLM tujuan umum dengan permintaan untuk tugas. Untuk tugas-tugas tertentu, model yang lebih kecil mungkin tidak hanya lebih murah, tetapi juga berkualitas jauh lebih tinggi! Startup dapat (dan harus) melatih model dengan < $1000 untuk subtugas "panjang tetap" tertentu (ekstraksi PDF tertentu, peramalan deret waktu, dll) dan menggunakannya sebagai alat untuk model umum untuk tidak hanya mendorong kinerja, tetapi juga membangun beberapa IP yang bermakna pada tugas yang mereka coba otomatiskan.

Sumber: