Os LLMs não são "compressões borradas de significado", mas sim "rearranjadores perfeitos de estrutura." Isso sugere que eles são mais como sistemas de criptografia dinâmicos e reversíveis do que como resumidores. O modelo não esquece; ele apenas re-representa. "Compreensão" nesses sistemas pode não ser compressão, mas sim geometria — organizando informações de maneiras que tornam as relações computáveis sem perder fidelidade.

Durante muito tempo, assumimos que a cognição se trata de simplificar, comprimir, reduzir — pegar dados confusos e destilá-los em significado. Mas este trabalho implica que os transformadores não "destilam" nada; eles realizam rearranjos massivamente detalhados e reversíveis.

Droga, acabei de sentir a AGI