💥 Mengumumkan GDPval, evaluasi baru yang mengukur kinerja model pada tugas-tugas dunia nyata yang bernilai secara ekonomi di 44 pekerjaan.

Evals seperti tes untuk model—di sekolah Anda memiliki tes matematika, tes ejaan, tes sejarah. Kami sudah melakukan banyak hal untuk menguji model kami pada tenaga kuda penalaran mentah.

Tujuan GDPval adalah untuk menguji tugas-tugas yang dilakukan para profesional setiap hari—dengan mengambil konteks dan membuat output seperti dokumen, slide, diagram, dan spreadsheet, di seluruh pekerjaan seperti real estat, pemerintah, pekerjaan sosial, teknik mesin, akuntansi, keperawatan, layanan pelanggan, nasihat keuangan, dan banyak lagi.

Model terbaik (GPT-5, Claude, Gemini) belum mengalahkan pakar industri, tetapi mereka semakin dekat—dan mereka lebih cepat dan lebih murah.

Dan selamat kepada @tejalpatwardhan dan tim atas pekerjaan luar biasa di GDPval!