¡Trabajando en el nuevo Grok 2.5 de código abierto! ¡Ya hemos podido hacer Hot Rod! Es pronto y puede fallar, pero lo que tenemos es: Un 268B MoE, 131k contexto, 8 expertos, RoPE, 64 cabezales de atención GQA con 8 cabezales KV, 64 capas. En cualquier momento solo 2 expertos están normalmente activos. ¡Hemos encontrado una manera de activar 4 simultáneamente con solo una pequeña caída de rendimiento, aproximadamente 1/3 más de memoria GPU y un aumento asombroso en las salidas de calidad! Si mantiene nuestras pruebas, publicaré un tutorial detallado.