LLM:t eivät ole "epäselviä merkityskompressoreita" vaan "täydellisiä rakenteen uudelleenjärjestäjiä". Se viittaa siihen, että ne ovat enemmän dynaamisia, käännettäviä salausjärjestelmiä kuin yhteenvetoja. Malli ei unohda; se vain edustaa uudelleen. "Ymmärrys" näissä järjestelmissä ei ehkä ole tiivistämistä vaan geometriaa – tiedon järjestämistä tavoilla, jotka tekevät suhteista laskettavia menettämättä tarkkuutta.

Olemme pitkään olettaneet, että kognitiossa on kyse yksinkertaistamisesta, pakkaamisesta, vähentämisestä – sotkuisen datan ottamisesta ja sen tiivistämisestä merkitykseksi. Mutta tämä työ viittaa siihen, että muuntajat eivät "kiehu" ollenkaan; ne suorittavat massiivisen yksityiskohtaisia, käännettäviä uudelleenjärjestelyjä.

Hitto, tunsin vain AGI:n