former un grand MoE est vraiment très très difficile. Chapeau à toutes les équipes qui réussissent à sortir quelque chose, peu importe comment cela se compare aux benchmarks.