Схоже, формуються абстракції крихітних градів? Не бути тим хлопцем, але Блеквелл – це єдине справжнє випробування на міцність. Навіть якщо вони не зосереджуються на блеквеллі, вони повинні довести, що їхні абстракції підходять для нього, щоб уникнути дилеми Тритона. Це єдиний шлях.

Хоча я не кажу, що цей цикл самовдосконалення не може спрацювати в кінцевому підсумку, я думаю, що ми ще не досягли «швидкості втечі». В даний час LLM недостатньо «чесні», особливо коли тиск оптимізації застосовується для того, щоб не піддатися колапсу. До того часу ми маємо рівно N=1 розмір вибірки речей, які надійно наповнюють різноманітним набором емерджентних можливостей: попереднє навчання. Люди повинні витрачати менше часу на роздуми про посттренування і витрачати більше часу на роздуми про речі, які ефективно виглядають як передтренування, але можуть містити інші обіцянки.

Я думаю, що спостереження про те, що LLM є «поганими репетиторами» в тому сенсі, що вони не можуть точно перевірити розуміння, є правильним. Той факт, що «переважувати все розгортання» – це безглуздо, також є правдою. Однак для мене не очевидно, що ліками від цього є роздуми про те, «що пройшло добре». Я думаю, що це стикається з дуже схожими питаннями ризику колапсу або неправильного розподілу нагляду. Тому що, хоча ми можемо смоктати нагляд через соломинку, єдине, що ще гірше, це смоктати зіпсований нагляд через соломинку.