¿Parece que las abstracciones de tinygrads están tomando forma? No quiero ser ese tipo, pero Blackwell es la única verdadera prueba de fuerza. Incluso si no se están enfocando en Blackwell, deben probar que sus abstracciones son adecuadas para evitar un dilema de Tritón. Es la única manera.

Si bien no estoy diciendo que este ciclo de superación personal no pueda funcionar eventualmente, creo que aún no hemos alcanzado la "velocidad de escape". Los LLM actualmente no son lo suficientemente "honestos", especialmente cuando se aplica presión de optimización para no sucumbir al colapso. Hasta entonces, tenemos exactamente un tamaño de muestra N = 1 de cosas que imbuyen de manera confiable un conjunto diverso de capacidades emergentes: preentrenamiento. Las personas deberían dedicar menos tiempo a pensar en el entrenamiento posterior y pasar más tiempo pensando en cosas que efectivamente se parecen al entrenamiento previo pero que podrían tener diferentes promesas.

Creo que la observación de que los LLM son "malos tutores" en el sentido de que no pueden sondear con precisión la comprensión es precisa. El hecho de que "aumentar la ponderación de todo el lanzamiento" es estúpido también es cierto. Sin embargo, no es obvio para mí que el remedio para eso sea la reflexión de LLM sobre "lo que salió bien". Creo que esto se topa con problemas muy similares de riesgo de colapso o mala asignación de supervisión. Porque si bien podríamos estar chupando la supervisión a través de una pajita, lo único que es aún peor es succionar la supervisión contaminada a través de una pajita.