Anche se non dico che questo ciclo di auto-miglioramento non possa funzionare eventualmente, penso che non abbiamo ancora raggiunto la "velocità di fuga". Gli LLM attualmente non sono sufficientemente "onesti", specialmente quando viene applicata la pressione dell'ottimizzazione per non soccombere al collasso. Fino ad allora, abbiamo esattamente un campione N=1 di cose che conferiscono in modo affidabile un insieme diversificato di capacità emergenti: il pre-addestramento. Le persone dovrebbero passare meno tempo a pensare al post-addestramento e più tempo a riflettere su cose che sembrano effettivamente pre-addestramento ma potrebbero contenere promesse diverse.

Penso che l'osservazione che i LLM siano "cattivi tutor" in quanto non possono sondare precisamente la comprensione sia accurata. Il fatto che "aumentare il peso dell'intero rollout" sia stupido è anche vero. Tuttavia, non mi è chiaro che il rimedio a questo sia la riflessione sui LLM riguardo a "cosa è andato bene". Penso che questo incontri problemi molto simili di rischio di collasso o di cattiva allocazione della supervisione. Perché mentre potremmo succhiare la supervisione attraverso una cannuccia, l'unica cosa che è ancora peggiore è succhiare supervisione contaminata attraverso una cannuccia.