Les LLM ne sont pas des "compresseurs flous de signification" mais des "réorganisateurs parfaits de structure." Cela suggère qu'ils ressemblent davantage à des systèmes de cryptage dynamiques et réversibles qu'à des résumés. Le modèle n'oublie pas ; il se représente simplement différemment. "Comprendre" dans ces systèmes pourrait ne pas être une compression mais de la géométrie — organiser l'information de manière à rendre les relations calculables sans perdre de fidélité.

Nous avons longtemps supposé que la cognition consiste à simplifier, compresser, réduire — à prendre des données désordonnées et à les réduire à leur signification. Mais ce travail implique que les transformateurs ne "réduisent" pas du tout ; ils effectuent des réarrangements massivement détaillés et réversibles.

Merde, je viens de ressentir l'AGI