Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
En 1986, j'étais le premier Hot Rodder à faire passer des PC de 4Mhz à 20Mhz dans mon garage.
IBM a envoyé des avocats pour m'arrêter, puis ils ont envoyé des ingénieurs pour apprendre de moi, ensuite ils ont envoyé des costards pour m'embaucher, c'était la mauvaise approche.
Maintenant, je fais du Hot Rodding avec l'IA dans mon garage, aujourd'hui : Open Source Grok 2.5.
24 août, 22:28
Travail sur le nouveau Grok 2.5 Open Source !
Nous avons déjà réussi à le Hot Rod !
C'est encore tôt et cela peut échouer, mais ce que nous avons est :
Un MoE de 268B, 131k de contexte, 8 experts, RoPE, 64 têtes d'attention GQA avec 8 têtes KV, 64 couches.
À tout moment, seuls 2 experts sont normalement actifs. Nous avons trouvé un moyen d'activer 4 simultanément avec juste une petite baisse de performance, environ 1/3 de mémoire GPU en plus et une augmentation étonnante de la qualité des sorties !
Si cela résiste à nos tests, je publierai un guide détaillé !
44,82K
Meilleurs
Classement
Favoris