Vypadá to, že se formují tinygradovy abstrakce? Ne že by tím chlápkem byl, ale Blackwell je jediným skutečným testem síly. I když se nezaměřují na Blackwell, měli by dokázat, že jejich abstrakce jsou pro něj vhodné, aby se vyhnuli Tritonově dilematu. Je to jediná cesta.

I když neříkám, že tato smyčka sebezdokonalování nemůže nakonec fungovat, myslím, že jsme ještě nedosáhli "únikové rychlosti". LLM v současné době nejsou dostatečně "poctivé", zejména pokud je vyvíjen optimalizační tlak, aby nepodlehly kolapsu. Do té doby máme přesně vzorek N=1 věcí, které spolehlivě naplňují rozmanitý soubor vznikajících schopností: předtrénink. Lidé by měli trávit méně času přemýšlením o post-tréninku a více času přemýšlením o věcech, které ve skutečnosti vypadají jako předtréninkové, ale mohou mít jiné přísliby.

Myslím, že postřeh, že LLM jsou "špatní lektoři" v tom, že nemohou přesně zkoumat porozumění, je přesný. Fakt, že "zvyšovat váhu celého rolloutu" je hloupost, je také pravda. Nicméně mi není jasné, že lékem na to je LLM-reflexe o tom, "co se povedlo". Myslím, že to naráží na velmi podobné problémy s rizikem kolapsu nebo špatnou alokací dohledu. Protože zatímco můžeme vysávat dohled brčkem, jediná věc, která je ještě horší, je vysávání poskvrněného dohledu brčkem.