💥 Kunngjøring av GDPval, en ny evaluering som måler modellytelse på økonomisk verdifulle, virkelige oppgaver på tvers av 44 yrker.

Evals er som tester for en modell – på skolen har du matteprøver, staveprøver, historieprøver. Vi gjør mye for å teste modellene våre på rå resonnerende hestekrefter allerede.

Målet med GDPval er å teste oppgaver som fagfolk gjør på daglig basis – ta i kontekst og lage utdata som dokumenter, lysbilder, diagrammer og regneark, på tvers av yrker som eiendom, myndigheter, sosialt arbeid, maskinteknikk, regnskap, sykepleie, kundeservice, økonomisk rådgivning og mer.

De beste modellene (GPT-5, Claude, Gemini) slår ennå ikke bransjeeksperter, men de kommer ganske nær – og de er raskere og billigere.

Og gratulerer til @tejalpatwardhan og teamet for utrolig arbeid med GDPval!