RETROがリリースされたとき、私はリトリーバル(検索)がLLMにとって大きな意味を持つと考えていました。パラメータ数を減らしつつ、モデルの知識の深さを広げるためです。企業がその考えを避けていたのは驚きでした。 ホエールがリトリーバルを登場させる: > 特に、メモリモジュールは知識の検索を支援することが期待されています(例:MMLU +3.4;CMMLU +4.0)、一般推論ではさらに大きな向上(例:BBH +5.0;ARC-Challenge +3.7)およびコード/数学領域(HumanEval +3.0;数学 +2.4)。機構解析により、エングラムはバックボーンの初期層を静的な再構築から解放し、複雑な推論のためのネットワークを効果的に深化させることが明らかになりました。

よし、新しいホエールドロップがある CC@teortaxesTex

論文は興味深いのですが、トータルリワードの計算式には少し苦労しました。私のような人のために、すべての変数が同じ画面に表示され、ページを行き来する必要がない注釈付きバージョンを紹介します(なぜみんなこれをしないのでしょうか?色は使わず、レジェンドだけかもしれません):