Da RETRO ble lansert, trodde jeg at henting er viktig for LLM-er, for å redusere param-tallet samtidig som kunnskapsdybden for modellene økes. Det overrasket meg at selskapene unngikk den tanken. Whale bringer Retrieval til bordet: > Mest bemerkelsesverdig er at minnemodulen forventes å hjelpe kunnskapsgjenfinning (f.eks. MMLU +3.4; CMMLU +4,0), observerer vi enda større gevinster i generell resonnement (f.eks. BBH +5,0; ARC-Challenge +3.7) og kode-/matematikkdomener (HumanEval +3.0; MATEMATIKK +2,4). Mekanistiske analyser viser at Engram frigjør ryggradens tidlige lag fra statisk rekonstruksjon, og dermed effektivt utdyper nettverket for kompleks resonnement.

Ok, det er en ny Whale drop CC @teortaxesTex

Artikkelen er interessant, men jeg slet litt med totalbelønningsformelen. For alle som meg, her er en annotert versjon med alle variabler på samme skjerm, uten behov for å gå frem og tilbake mellom sider (hvorfor gjør ikke folk dette? Kanskje uten farger, men bare med legenden):