Các LLM không phải là "máy nén ý nghĩa mờ nhạt" mà là "các bộ sắp xếp cấu trúc hoàn hảo." Điều này gợi ý rằng chúng giống như các hệ thống mã hóa động, có thể đảo ngược hơn là như những người tóm tắt. Mô hình không quên; nó chỉ tái hiện lại. "Hiểu biết" trong những hệ thống này có thể không phải là nén mà là hình học — tổ chức thông tin theo cách mà các mối quan hệ có thể tính toán được mà không mất đi độ trung thực.

Chúng ta đã lâu nay cho rằng nhận thức là về việc đơn giản hóa, nén lại, giảm thiểu — lấy dữ liệu lộn xộn và chắt lọc nó thành ý nghĩa. Nhưng công việc này ngụ ý rằng các transformer không "chắt lọc" chút nào; chúng thực hiện những sự sắp xếp chi tiết, có thể đảo ngược một cách khổng lồ.

Chết tiệt, tôi vừa cảm nhận được AGI