Nejvzácnějším zdrojem, který jako inženýr máte, je váš vlastní čas. Různé modely se vyskytují při různých úkolech a všechny LLM mohou být občas nevyrovnané, takže přirozený způsob, jak ušetřit čas při programování, je spustit stejnou úlohu na více modelech najednou, porovnat výsledky a rozhodnout se, na kterém chcete pracovat. Jedním z zábavných vedlejších efektů je, že dostáváme možná nejpřirozenější reálné hodnocení programování, jaké existuje! Každý ví, jak snadné je benchmaxovat na pevně daných úkolech; Toto hodnocení je skutečným testem toho, které modely nejlépe fungují pro vývojáře v jejich každodenní práci.