大型語言模型(LLMs)並不是「模糊的意義壓縮器」,而是「完美的結構重組者」。這表明它們更像是動態的、可逆的加密系統,而不是摘要工具。 該模型不會遺忘;它只是重新表現。 在這些系統中,「理解」可能不是壓縮,而是幾何學——以不失真地組織信息,使關係可計算。
GLADIA Research Lab
GLADIA Research Lab10月27日 22:34
LLMs 是單射且可逆的。 在我們的新論文中,我們展示了不同的提示總是映射到不同的嵌入,這一特性可以用來從潛在空間中的個別嵌入中恢復輸入標記。 (1/6)
我們長期以來一直認為認知是關於簡化、壓縮、減少——將混亂的數據提煉成意義。但這項工作暗示著變壓器根本不會「提煉」;它們執行的是大規模詳細的、可逆的重組。
該死,我剛剛感受到AGI
329.01K