我認為，LLMs 是 "糟糕的導師" 這一觀察是準確的，因為它們無法精確地探查理解。"整體推廣的加權" 是愚蠢的這一事實也是正確的。然而，我不明白解決這個問題的辦法是 LLM 反思 "哪些做得好"。我認為這會遇到非常相似的崩潰風險或監督錯配的問題。因為雖然我們可能是通過吸管來吸取監督，但唯一更糟糕的事情就是通過吸管吸取受污染的監督。