Quando o RETRO foi lançado, achei que a recuperação era algo importante para LLMs, para reduzir o número de param e aumentar a profundidade do conhecimento dos modelos. Foi uma surpresa para mim que as empresas evitassem essa ideia. Whale traz Retrieval para a mesa: > Mais notavelmente, enquanto o módulo de memória deve auxiliar na recuperação de conhecimento (por exemplo, MMLU +3.4; CMMLU +4,0), observamos ganhos ainda maiores no raciocínio geral (por exemplo, BBH +5,0; ARC-Challenge +3.7) e domínios de código/matemática (HumanEval +3.0; MATEMÁTICA +2,4). Análises mecanicistas revelam que o Engram alivia as camadas iniciais da espinha dorsal da reconstrução estática, aprofundando efetivamente a rede para raciocínios complexos.