Da RETRO ble lansert, trodde jeg at henting er viktig for LLM-er, for å redusere param-tallet samtidig som kunnskapsdybden for modellene økes. Det overrasket meg at selskapene unngikk den tanken. Whale bringer Retrieval til bordet: > Mest bemerkelsesverdig er at minnemodulen forventes å hjelpe kunnskapsgjenfinning (f.eks. MMLU +3.4; CMMLU +4,0), observerer vi enda større gevinster i generell resonnement (f.eks. BBH +5,0; ARC-Challenge +3.7) og kode-/matematikkdomener (HumanEval +3.0; MATEMATIKK +2,4). Mekanistiske analyser viser at Engram frigjør ryggradens tidlige lag fra statisk rekonstruksjon, og dermed effektivt utdyper nettverket for kompleks resonnement.