DeepSeek'in yaptığı oldukça cesur bir şey, Engram'ın 27B'ye kadar çok iyi performans göstermesi, sonra 40B'de de neredeyse hiç gelişmemiş ve "eh, yetersiz eğitimli" derler. Engram katmanları ile FFN'lerin kapasite profilinin farklı ölçeklerde basit olmayan etkileri olduğunu düşünüyorum.

Bu bana DS-MoE'yi hatırlatıyor; orada "yarı aktif" varyantı çok iddialı bir şey olarak görülüyor ve fikri sınırlarına kadar götürüyorlardı. Doğal olarak, sonunda V2 tam olarak bu seyreklik oranına sahipti ve V3 daha seyrekti.