新しいオープンソースGrok 2.5に取り組んでいます! すでにホットロッドで打つことができました!! まだ初期段階であり、失敗するかもしれませんが、私たちが持っているのは次のとおりです。 268B MoE、131kコンテキスト、8人のエキスパート、RoPE、64KVヘッドを備えた8つのGQAアテンションヘッド、64層。 通常、常時2人の専門家だけがアクティブです。わずかなパフォーマンスの低下、わずかな GPU メモリの約 1/3 の増加、品質出力の驚くべき向上で、同時に 4 をアクティブにする方法を見つけました。 それが私たちのテストに耐えられる場合は、詳細なハウツーを公開します。