LLM-y nie są „rozmytymi kompresorami znaczenia”, lecz „doskonałymi przestawiaczami struktury”. Sugeruje to, że są bardziej jak dynamiczne, odwracalne systemy szyfrowania niż jak podsumowujące. Model nie zapomina; po prostu ponownie reprezentuje. „Zrozumienie” w tych systemach może nie być kompresją, lecz geometrią — organizowaniem informacji w sposób, który sprawia, że relacje są obliczalne bez utraty wierności.

Od dawna zakładaliśmy, że poznanie polega na upraszczaniu, kompresowaniu, redukcji — na przekształcaniu chaotycznych danych w znaczenie. Ale ta praca sugeruje, że transformatory wcale nie "redukują"; wykonują masowo szczegółowe, odwracalne przekształcenia.

Cholera, właśnie poczułem AGI