Meskipun saya tidak mengatakan lingkaran perbaikan diri ini tidak dapat berhasil pada akhirnya, saya pikir kita belum mencapai "kecepatan melarikan diri". LLM saat ini tidak cukup "jujur", terutama ketika tekanan optimasi diterapkan agar tidak menyerah pada keruntuhan. Sampai saat itu, kami memiliki ukuran sampel N = 1 dari hal-hal yang dapat diandalkan mengilhami beragam kemampuan yang muncul: pra-pelatihan. Orang harus menghabiskan lebih sedikit waktu untuk memikirkan pasca-pelatihan dan menghabiskan lebih banyak waktu untuk memikirkan hal-hal yang secara efektif terlihat seperti pra-pelatihan tetapi dapat memiliki janji yang berbeda.

Saya pikir pengamatan bahwa LLM adalah "tutor yang buruk" karena mereka tidak dapat secara tepat menyelidiki pemahaman adalah akurat. Fakta bahwa "meningkatkan bobot seluruh peluncuran" itu bodoh juga benar. Namun tidak jelas bagi saya bahwa obat untuk itu adalah refleksi LLM tentang "apa yang berjalan dengan baik". Saya pikir ini mengalami masalah yang sangat mirip tentang risiko keruntuhan atau kesalahan alokasi pengawasan. Karena meskipun kita mungkin mengisap pengawasan melalui sedotan, satu-satunya hal yang lebih buruk lagi adalah mengisap pengawasan yang tercemar melalui sedotan.