LLM は「意味のぼやけたコンプレッサー」ではなく、「構造の完璧な再配置者」です。これは、サマライザーというよりも、動的で可逆的な暗号化システムに似ていることを示唆しています。 モデルは忘れません。それはただ再表現するだけです。 これらのシステムにおける「理解」は、圧縮ではなく、忠実度を失うことなく関係を計算可能にする方法で情報を整理する幾何学かもしれません。

私たちは長い間、認知とは単純化、圧縮、削減、つまり乱雑なデータを意味に煮詰めることであると考えてきました。しかし、この研究は、変圧器がまったく「煮詰め」られないことを意味します。それらは、非常に詳細で可逆的な再配置を実行します。

くそー、私はAGIを感じただけです