我最近既感到驚訝又感到好笑,得知VaultGemma,谷歌最近的一項努力,旨在用差分隱私預訓練一個LLM。 簡而言之: - 第一個沒有可檢測訓練數據記憶的LLM - 使用所有技巧,計算能力提高100倍,達到了*GPT-2*的水平