عندما تم إصدار RETRO، اعتقدت أن الاسترجاع أمر مهم جدا لنماذج اللغة الكبيرة (LLMs)، لتقليل عدد المعلمات مع زيادة عمق المعرفة للنماذج. كان مفاجئا لي أن الشركات تجنبت هذه الفكرة. يقدم ويل Retrieval إلى الطاولة: > الأبرز، بينما من المتوقع أن تساعد وحدة الذاكرة في استرجاع المعرفة (مثل MMLU +3.4؛ CMMLU +4.0)، نلاحظ مكاسب أكبر في الاستدلال العام (مثلا، BBH +5.0؛ تحدي ARC +3.7) ومجالات البرمجة/الرياضيات (HumanEval +3.0؛ الرياضيات +2.4). تكشف التحليلات الميكانيكية أن إنغرام يخفف الطبقات المبكرة للعمود الفقري من إعادة البناء الثابت، مما يعمق الشبكة فعليا من أجل التفكير المعقد.