Wygląda na to, że abstrakcje tinygrads zaczynają się kształtować? Nie chcę być tym gościem, ale Blackwell to jedyny prawdziwy test siły. Nawet jeśli nie koncentrują się na Blackwell, powinni udowodnić, że ich abstrakcje są odpowiednie, aby uniknąć dylematu Tritona. To jedyny sposób.

Chociaż nie twierdzę, że ta pętla samodoskonalenia nie może w końcu zadziałać, uważam, że jeszcze nie osiągnęliśmy "prędkości ucieczki". Obecne LLM-y nie są wystarczająco "szczere", szczególnie gdy wywierana jest presja optymalizacji, aby nie ulec załamaniu. Do tego czasu mamy dokładnie próbkę N=1 rzeczy, które niezawodnie nadają różnorodne zestawy emergentnych zdolności: wstępne szkolenie. Ludzie powinni spędzać mniej czasu na myśleniu o szkoleniu po, a więcej na myśleniu o rzeczach, które skutecznie wyglądają jak wstępne szkolenie, ale mogą mieć różne obietnice.

Uważam, że obserwacja, że LLM-y są "złymi nauczycielami", ponieważ nie potrafią dokładnie zbadać zrozumienia, jest trafna. Fakt, że "zwiększanie wagi całego wdrożenia" jest głupie, również jest prawdziwy. Jednak nie jest dla mnie oczywiste, że lekarstwem na to jest refleksja LLM na temat "co poszło dobrze". Myślę, że napotyka to bardzo podobne problemy związane z ryzykiem załamania lub niewłaściwym przydzieleniem nadzoru. Ponieważ chociaż możemy zasysać nadzór przez słomkę, jedyną rzeczą, która jest jeszcze gorsza, jest zasysanie skażonego nadzoru przez słomkę.