Los LLMs no son "compresores borrosos de significado" sino "reordenadores perfectos de estructura." Sugiere que son más como sistemas de cifrado dinámicos y reversibles que como resumidores. El modelo no olvida; simplemente re-representa. La "comprensión" en estos sistemas podría no ser compresión sino geometría: organizar la información de maneras que hacen que las relaciones sean computables sin perder fidelidad.

Durante mucho tiempo hemos asumido que la cognición se trata de simplificar, comprimir, reducir: tomar datos desordenados y reducirlos a un significado. Pero este trabajo implica que los transformadores no "reducen" en absoluto; realizan reordenamientos masivos, detallados y reversibles.

Maldita sea, acabo de sentir la AGI