有用的启发式 最佳研究问题是： (A) 足够不明显，以至于在接下来的六个月内没有人会解决 (B) 重要到最终会有人解决 感到压力？ 选择一个不那么明显的问题 在默默无闻中劳作？ 选择一个更重要的问题

我最近既感到印象深刻又感到好笑，了解到VaultGemma，这是谷歌最近的一项努力，旨在用差分隐私预训练一个大型语言模型。 简而言之： - 第一个没有可检测训练数据记忆的大型语言模型 - 使用书中的所有技巧，计算能力提高100倍，达到了*GPT-2*的水平

抱歉，我经常看到这种性质的帖子，所以我需要澄清一下。我们已经知道 LM 是可逆的两年。我在攻读博士学位时就证明了这一点。 引用的论文添加了一些复杂的扩展，但“语言模型反转”（Morris 等人，ICLR 2024）首先做到了:)