Có vẻ như các trừu tượng của tinygrads đang hình thành? Không muốn là người như vậy, nhưng Blackwell là bài kiểm tra sức mạnh thực sự duy nhất. Ngay cả khi họ không tập trung vào Blackwell, họ cũng nên chứng minh rằng các trừu tượng của họ phù hợp với nó để tránh một tình huống như Triton. Đó là cách duy nhất.

Mặc dù tôi không nói rằng vòng lặp tự cải thiện này không thể hoạt động cuối cùng, nhưng tôi nghĩ rằng chúng ta vẫn chưa đạt được "tốc độ thoát". Các LLM hiện tại không đủ "thành thật", đặc biệt khi áp lực tối ưu hóa được áp dụng để không bị sụp đổ. Cho đến lúc đó, chúng ta có chính xác một kích thước mẫu N=1 của những thứ mà đáng tin cậy mang lại một tập hợp đa dạng các khả năng nổi bật: huấn luyện trước. Mọi người nên dành ít thời gian hơn để suy nghĩ về huấn luyện sau và dành nhiều thời gian hơn để suy nghĩ về những thứ có vẻ như huấn luyện trước nhưng có thể mang lại những hứa hẹn khác.

Tôi nghĩ rằng quan sát rằng LLM là "giáo viên tồi" vì chúng không thể kiểm tra hiểu biết một cách chính xác là đúng. Thực tế rằng "tăng cường toàn bộ quá trình triển khai" là ngu ngốc cũng đúng. Tuy nhiên, tôi không thấy rõ rằng biện pháp khắc phục cho điều đó là phản ánh LLM về "những gì đã diễn ra tốt đẹp". Tôi nghĩ điều này gặp phải những vấn đề rất tương tự về rủi ro sụp đổ hoặc phân bổ giám sát sai. Bởi vì trong khi chúng ta có thể đang hút giám sát qua một cái ống hút, thì điều tồi tệ hơn là hút giám sát bị ô nhiễm qua một cái ống hút.