La ressource la plus rare que vous avez en tant qu'ingénieur est votre propre temps. Différents modèles se distinguent dans différentes tâches et tous les LLM peuvent parfois être imprévisibles, donc une manière naturelle de vous faire gagner du temps lors du codage est d'exécuter la même tâche sur plusieurs modèles en même temps, puis de comparer les résultats et de décider lequel vous préférez utiliser. Un des effets secondaires amusants de cela est que nous obtenons peut-être l'évaluation de codage la plus naturelle du monde réel ! Tout le monde sait à quel point il est facile de maximiser les performances sur un ensemble fixe de tâches ; cette évaluation est un véritable test de quels modèles fonctionnent le mieux pour les développeurs dans leur travail quotidien.