Když vyšlo RETRO, myslel jsem si, že vyhledávání je pro LLM velká věc, aby se snížilo číslo parametrů a zároveň se zvýšila hloubka znalostí modelů. Bylo pro mě překvapením, že se firmy tomuto nápadu vyhnuly. Whale přináší Retrieval: > Nejvýznamněji se očekává, že paměťový modul usnadní vyhledávání znalostí (např. MMLU +3.4; CMMLU +4,0), pozorujeme ještě větší zlepšení v obecném uvažování (např. BBH +5,0; ARC-Challenge +3.7) a domény kódu/matematiky (HumanEval +3.0; MATEMATIKA +2,4). Mechanistické analýzy odhalují, že Engram uvolňuje rané vrstvy páteře od statické rekonstrukce, čímž efektivně prohlubuje síť pro složité uvažování.