GLM 團隊現在正在使用 MLA!! 這是一個相當瘋狂的模型,擁有 30B 的總參數和約 4B 的活躍參數。非常棒的發布 在結構方面,它的深度大約與 glm4.5 air 和 qwen3 30B A3B 相同,總專家數為 64,而不是 128,但他們只啟用 5 個,而不是 9 個(如果你計算共享專家)。