Bagian yang paling menarik bagi saya adalah di mana @karpathy menjelaskan mengapa LLM tidak dapat belajar seperti manusia. Seperti yang Anda duga, dia datang dengan frasa yang sangat menggugah untuk menggambarkan RL: "mengisap bit pengawasan melalui sedotan." Hadiah akhir tunggal disiarkan di setiap token dalam lintasan yang sukses, meningkatkan bahkan belokan yang salah atau tidak relevan yang mengarah pada jawaban yang benar. > "Manusia tidak menggunakan pembelajaran penguatan, seperti yang telah saya katakan sebelumnya. Saya pikir mereka melakukan sesuatu yang berbeda. Pembelajaran penguatan jauh lebih buruk daripada yang dipikirkan rata-rata orang. Pembelajaran penguatan itu mengerikan. Kebetulan semua yang kita miliki sebelumnya jauh lebih buruk." Jadi apa yang dilakukan manusia sebagai gantinya? > "Buku yang saya baca adalah serangkaian petunjuk bagi saya untuk melakukan pembuatan data sintetis. Dengan memanipulasi informasi itu, Anda benar-benar mendapatkan pengetahuan itu. Kami tidak memiliki setara dengan LLM; mereka tidak benar-benar melakukan itu." > "Saya ingin melihat selama prapelatihan semacam tahap di mana model memikirkan materi dan mencoba mendamaikannya dengan apa yang sudah diketahuinya. Tidak ada yang setara dengan semua ini. Ini semua penelitian." Mengapa kita tidak bisa menambahkan pelatihan ini ke LLM hari ini? > "Ada alasan yang sangat halus dan sulit dipahami mengapa itu tidak sepele. Jika saya hanya memberikan generasi sintetis model berpikir tentang sebuah buku, Anda melihatnya dan Anda seperti, 'Ini terlihat bagus. Mengapa saya tidak bisa berlatih?' Anda bisa mencoba, tetapi modelnya sebenarnya akan menjadi jauh lebih buruk jika Anda terus mencoba." > "Katakanlah kita memiliki satu bab dari sebuah buku dan saya meminta LLM untuk memikirkannya. Ini akan memberi Anda sesuatu yang terlihat sangat masuk akal. Tetapi jika saya menanyakannya 10 kali, Anda akan melihat bahwa semuanya sama." > "Anda tidak mendapatkan kekayaan dan keragaman dan entropi dari model-model ini seperti yang Anda dapatkan dari manusia. Bagaimana Anda membuat pembuatan data sintetis bekerja meskipun runtuh dan sambil mempertahankan entropi? Ini adalah masalah penelitian." Bagaimana manusia mengatasi keruntuhan model? > "Analogi ini sangat bagus. Manusia runtuh selama hidup mereka. Anak-anak belum terlalu bugar. Mereka akan mengatakan hal-hal yang akan mengejutkan Anda. Karena mereka belum runtuh. Tapi kami [orang dewasa] runtuh. Kami akhirnya meninjau kembali pemikiran yang sama, kami akhirnya mengatakan lebih banyak hal yang sama, tingkat pembelajaran turun, keruntuhan terus memburuk, dan kemudian semuanya memburuk." Faktanya, ada makalah menarik yang berpendapat bahwa mimpi berevolusi untuk membantu generalisasi, dan menolak overfitting untuk pembelajaran sehari-hari - cari The Overfitted Brain oleh @erikphoel. Saya bertanya kepada Karpathy: Bukankah menarik bahwa manusia belajar paling baik di bagian kehidupan mereka (masa kanak-kanak) yang detail sebenarnya mereka lupakan sepenuhnya, orang dewasa masih belajar dengan sangat baik tetapi memiliki ingatan yang buruk tentang hal-hal yang mereka baca atau tonton, dan LLM dapat menghafal detail sewenang-wenang tentang teks yang tidak bisa dilakukan manusia tetapi saat ini cukup buruk dalam generalisasi? > "[Memori manusia yang salah] adalah fitur, bukan bug, karena memaksa Anda untuk hanya mempelajari komponen yang dapat digeneralisasi. LLM terganggu oleh semua memori yang mereka miliki tentang dokumen yang telah dilatih sebelumnya. Itu sebabnya ketika saya berbicara tentang inti kognitif, saya sebenarnya ingin menghilangkan ingatan. Saya ingin mereka memiliki lebih sedikit memori sehingga mereka harus mencari sesuatu dan mereka hanya mempertahankan algoritma untuk berpikir, dan gagasan eksperimen, dan semua lem kognitif ini untuk berakting."

Wawancara @karpathy 0:00:00 – AGI masih satu dekade lagi 0:30:33 – Defisit kognitif LLM 0:40:53 – RL mengerikan 0:50:26 – Bagaimana manusia belajar? 1:07:13 – AGI akan menyatu dengan pertumbuhan PDB 2% 1:18:24 – ASI 1:33:38 – Evolusi kecerdasan & budaya 1:43:43 - Mengapa mengemudi sendiri memakan waktu lama 1:57:08 - Masa depan pendidikan Cari Podcast Dwarkesh di YouTube, Apple Podcasts, Spotify, dll. Menikmati!