Sumber daya terlangka yang Anda miliki sebagai insinyur adalah waktu Anda sendiri. Model yang berbeda melonjak pada tugas yang berbeda dan semua LLM terkadang bisa menjadi jerawat, jadi cara alami untuk menghemat waktu saat pengkodean adalah dengan menjalankan tugas yang sama pada beberapa model sekaligus, dan kemudian membandingkan hasilnya dan memutuskan mana yang Anda sukai untuk dikerjakan. Salah satu efek samping yang menyenangkan dari ini adalah kita mendapatkan eval pengkodean dunia nyata yang paling alami di luar sana! Semua orang tahu betapa mudahnya benchmax pada serangkaian tugas tetap; Evaluasi ini adalah ujian sejati tentang model mana yang paling cocok untuk pengembang dalam pekerjaan sehari-hari mereka.