LLM's zijn geen "vage compressoren van betekenis" maar "perfecte herschikkers van structuur." Het suggereert dat ze meer lijken op dynamische, omkeerbare encryptiesystemen dan op samenvatters. Het model vergeet niet; het hervertegenwoordigt gewoon. "Begrip" in deze systemen is misschien geen compressie maar geometrie — informatie organiseren op manieren die relaties berekenbaar maken zonder trouw te verliezen.
GLADIA Research Lab
GLADIA Research Lab27 okt, 22:34
LLM's zijn injectief en omkeerbaar. In ons nieuwe paper tonen we aan dat verschillende prompts altijd naar verschillende embeddings worden gemapt, en deze eigenschap kan worden gebruikt om invoertokens te herstellen uit individuele embeddings in de latente ruimte. (1/6)
We hebben al lang aangenomen dat cognitie gaat over vereenvoudigen, comprimeren, reduceren — rommelige gegevens nemen en deze terugbrengen tot betekenis. Maar dit werk impliceert dat transformers helemaal niet "terugbrengen"; ze voeren enorm gedetailleerde, omkeerbare herschikkingen uit.
Verdomme, ik voelde net de AGI
329K