LLM – це не «розмиті компресори сенсу», а «ідеальні перестановки структури». Це свідчить про те, що вони більше схожі на динамічні, оборотні системи шифрування, ніж на підсумовувачі. Модель не забуває; Він просто повторно представляє. «Розуміння» в цих системах може полягати не в стисканні, а в геометрії — організації інформації таким чином, що робить відносини обчислюваними без втрати точності.

Ми давно припускали, що пізнання полягає в спрощенні, стисканні, зменшенні — взятті безладних даних і зведенні їх до сенсу. Але ця робота має на увазі, що трансформатори зовсім не «кип'ятять»; Вони виконують масово деталізовані, оборотні перестановки.

Чорт забирай, я просто відчув AGI