Nejzajímavější částí pro mě je, kde @karpathy popisuje, proč se LLM nemohou učit jako lidé. Jak byste očekávali, přichází s úžasně sugestivní frází, která popisuje RL: "sání supervizních kousků brčkem". Jediná závěrečná odměna se vysílá přes každý token na úspěšné trajektorii, čímž se zvyšuje i nesprávná nebo nepodstatná otočení, která vedou ke správné odpovědi. > "Lidé nepoužívají zpětnovazební učení, jak jsem řekl dříve. Myslím, že dělají něco jiného. Zpětnovazební učení je mnohem horší, než si průměrný člověk myslí. Zpětnovazební učení je hrozné. Stává se, že všechno, co jsme měli předtím, je mnohem horší." Co tedy lidé dělají místo toho? > "Kniha, kterou čtu, je pro mě sada výzev ke generování syntetických dat. Manipulací s těmito informacemi tyto znalosti skutečně získáte. Nemáme žádný ekvivalent toho s LLM; To opravdu nedělají." > "Rád bych během předtréninku viděl nějakou fázi, kdy model materiál promyslí a pokusí se ho sladit s tím, co už zná. Neexistuje žádný ekvivalent ničeho z toho. To vše je výzkum." Proč nemůžeme toto školení přidat do LLM už dnes? > "Existují velmi jemné, těžko pochopitelné důvody, proč to není triviální. Když dám syntetickou generaci modelu a přemýšlíte o knize, podíváte se na ni a řeknete si: 'To vypadá skvěle. Proč na něm nemůžu trénovat?' Můžete to zkusit, ale pokud to budete zkoušet dál, model se ve skutečnosti mnohem zhorší." > "Řekněme, že máme kapitolu v knize a já požádám LLM, aby se nad tím zamyslel. Dá vám něco, co vypadá velmi rozumně. Ale když se na to zeptám desetkrát, všimnete si, že jsou všechny stejné." > "Z těchto modelů nezískáváte bohatství, rozmanitost a entropii, jakou byste získali od lidí. Jak docílit toho, aby generování syntetických dat fungovalo i přes kolaps a při zachování entropie? Je to výzkumný problém." Jak lidé obcházejí kolaps modelu? > "Tyto analogie jsou překvapivě dobré. Lidé se v průběhu svého života zhroutí. Děti se ještě nepřepasovaly. Řeknou věci, které vás šokují. Protože ještě nejsou zhroucené. Ale my [dospělí] jsme zhrouceni. Nakonec se vracíme ke stejným myšlenkám, říkáme stále více stejných věcí, míra učení klesá, kolaps se stále zhoršuje a pak se všechno zhoršuje." Ve skutečnosti existuje zajímavý článek, který tvrdí, že snění se vyvinulo, aby napomáhalo zobecňování a odolávalo přeučení každodennímu učení – podívejte se na The Overequipped Brain od @erikphoel. Zeptal jsem se Karpathyho: Není zajímavé, že lidé se nejlépe učí v té části svého života (dětství), jejíž skutečné detaily zcela zapomínají, dospělí se stále učí opravdu dobře, ale mají hroznou paměť na podrobnosti věcí, které čtou nebo sledují, a LLM si mohou zapamatovat libovolné detaily o textu, které by žádný člověk nedokázal, ale v současné době jsou dost špatní v generalizaci? ...