Os LLMs não são "compressores borrados de significado", mas "reorganizadores perfeitos da estrutura". Isso sugere que eles são mais como sistemas de criptografia dinâmicos e reversíveis do que como resumidores. O modelo não esquece; apenas re-representa. "Compreensão" nesses sistemas pode não ser compressão, mas geometria - organizar informações de maneiras que tornem os relacionamentos computáveis sem perder a fidelidade.

Há muito tempo assumimos que a cognição é simplificar, comprimir, reduzir – pegar dados confusos e resumi-los em significado. Mas este trabalho implica que os transformadores não "fervem" de forma alguma; eles realizam rearranjos reversíveis e detalhados em massa.

Droga, eu acabei de sentir o AGI