Bài báo TRM cảm thấy như một bước đột phá lớn trong AI. Nó phá vỡ biên giới pareto trên các tiêu chuẩn ARC AGI 1 và 2 (cũng như giải Sudoku và giải mê cung) với chi phí ước tính < $0.01 cho mỗi nhiệm vụ và chi phí < $500 để huấn luyện mô hình 7M trên 2 H100 trong 2 ngày. [Chi tiết huấn luyện và kiểm tra] Đối với ARC, nó đã được huấn luyện trên 160 ví dụ từ ConceptARC. Tại thời điểm kiểm tra, nó sử dụng câu trả lời phổ biến nhất từ 1000 lần tăng cường tại thời điểm kiểm tra và nhúng một hình dạng cố định của nhiệm vụ vào đầu vào. [Ý nghĩa trong ngành] Hầu hết các công ty AI ngày nay sử dụng LLM đa mục đích với việc gợi ý cho các nhiệm vụ. Đối với các nhiệm vụ cụ thể, các mô hình nhỏ hơn có thể không chỉ rẻ hơn, mà còn có chất lượng cao hơn rất nhiều! Các công ty khởi nghiệp có thể (và nên) huấn luyện các mô hình với chi phí < $1000 cho các "nhiệm vụ con" có "độ dài cố định" cụ thể (như trích xuất PDF cụ thể, dự đoán chuỗi thời gian, v.v.) và sử dụng nó như một công cụ cho mô hình tổng quát không chỉ để nâng cao hiệu suất, mà còn xây dựng một số IP có ý nghĩa trong nhiệm vụ mà họ đang cố gắng tự động hóa.

Nguồn: