この自己改善のループが最終的にうまくいかないと言っているわけではありませんが、私たちはまだ「脱出速度」に達していないと思います。 現在、LLM は十分に「正直」ではなく、特に崩壊に屈しないように最適化の圧力がかかる場合にはなおさらです。 それまでは、さまざまな創発的な機能、つまり事前トレーニングを確実に吹き込むもののサンプルサイズは正確に N=1 です。 人々は、トレーニング後のことを考える時間を減らし、実際にはトレーニング前のように見えるが、異なる約束を持つ可能性のあることについて考える時間を増やす必要があります。

LLMは理解を正確に探ることができないという点で「悪い家庭教師」であるという観察は正確だと思います。「ロールアウト全体を重み付ける」ことが愚かであるという事実も事実です。しかし、その解決策が「何がうまくいったか」についてのLLMの反省であるかどうかは私には明らかではありません。これは、崩壊のリスクや監督の誤った割り当てという非常によく似た問題に遭遇すると思います。なぜなら、私たちはストローで監督を吸っているかもしれませんが、さらに悪いのは、ストローで汚染された監督を吸い取ることだけだからです。