Parece que as abstrações do tinygrads estão a tomar forma? Não quero ser aquele tipo, mas Blackwell é o único verdadeiro teste de força. Mesmo que não estejam a focar-se no Blackwell, deveriam provar que as suas abstrações são adequadas para isso, a fim de evitar um dilema Triton. É a única maneira.

Embora eu não esteja a dizer que este ciclo de autoaperfeiçoamento não possa eventualmente funcionar, acho que ainda não atingimos a "velocidade de fuga". Os LLMs atualmente não são suficientemente "honestos", especialmente quando a pressão de otimização é aplicada para não sucumbir ao colapso. Até lá, temos exatamente um tamanho de amostra N=1 de coisas que imbuem de forma confiável um conjunto diversificado de capacidades emergentes: pré-treinamento. As pessoas deveriam passar menos tempo a pensar sobre o pós-treinamento e mais tempo a pensar em coisas que efetivamente se assemelham ao pré-treinamento, mas que poderiam ter promessas diferentes.

Acho que a observação de que os LLMs são "maus tutores" no sentido de que não conseguem sondar precisamente a compreensão é precisa. O fato de que "aumentar o peso de todo o rollout" é estúpido também é verdade. No entanto, não me parece óbvio que o remédio para isso seja a reflexão dos LLMs sobre "o que correu bem". Acho que isso enfrenta problemas muito semelhantes de risco de colapso ou má alocação de supervisão. Porque, enquanto podemos estar sugando supervisão através de um canudo, a única coisa que é ainda pior é sugar supervisão contaminada através de um canudo.