私は最近、差分プライバシーを使用してLLMを事前トレーニングするというGoogleの最近の取り組みであるVaultGemmaについて知り、感銘を受け、面白かったです 要旨: - 検出可能なトレーニング データの記憶がない最初の LLM - 本のすべてのトリック、100 倍のコンピューティングが *GPT-2* のレベルに達しました。