Kết quả Mô hình Đệ quy Nhỏ (TRM) trên ARC-AGI - ARC-AGI-1: 40%, $1.76/công việc - ARC-AGI-2: 6.2%, $2.10/công việc Cảm ơn @jm_alexia đã đóng góp TRM, một nghiên cứu mở, được viết tốt và đầy đủ cho cộng đồng dựa trên HRM từ @makingAGI

Cảm ơn @k_schuerholt đã tái tạo những kết quả này cho Giải thưởng ARC, dựa trên phân tích HRM trước đó của anh ấy. Các điểm kiểm tra mô hình đã tái tạo và hướng dẫn tái tạo của chúng tôi có sẵn trên @huggingface.

Ghi chú của chúng tôi: - TRM có thời gian chạy cao hơn HRM mặc dù nó nhỏ hơn. Giả thuyết của chúng tôi là điều này do sự lan truyền ngược xảy ra qua tất cả các bước, trong khi HRM chỉ thực hiện các bước một phần. Câu hỏi mở: TRM có tốt hơn vì nó thông minh hơn? hay vì nó được đào tạo lâu hơn? Nếu bạn sử dụng tính toán cố định cho cả hai, hiệu suất có giống nhau không?

- TRM có mạnh mẽ tương tự như số lượng tăng cường như HRM không? - Việc chuyển từ các lớp tuyến tính sang attention là điều thú vị, nhưng attention lại hoạt động kém hơn trên một tác vụ nhỏ hơn. Tại sao lại như vậy? Có thể nó kém hiệu quả về mặt tính toán, nhưng tại sao nó lại tệ đến vậy trên Maze?

Lời kêu gọi của chúng tôi đến cộng đồng: Tách biệt việc tiền huấn luyện và suy diễn trong TRM Hiện tại, việc tiền huấn luyện và suy diễn được kết hợp trong TRM. Các lô nhiệm vụ bổ sung cần được tiền huấn luyện lại. TRM được mở rộng này có khả năng sẽ có thể chạy trên Kaggle cho Giải thưởng ARC 2025

Chi phí để tái sản xuất: * ARC-AGI-1 Công cộng: 9h 52m 6 * 2x8H100 * $8/giờ = $157.86 * ARC-AGI-1 Bán công cộng: 11h 23m * 2x8H100 * $8/giờ = $176.38 * ARC-AGI-1 Công cộng: 9h 35m * 3x8H100 * $8/giờ = $216.58 * ARC-AGI-2 Bán công cộng: 10h 30m * 3x8H100 * $8/giờ = $252