Ik was zowel onder de indruk als geamuseerd om onlangs te leren over VaultGemma, een recente inspanning van Google om een LLM voor te trainen met differentiële privacy. TLDR: - eerste LLM zonder detecteerbare memorisatie van trainingsdata - elke truc in het boek, 100x meer rekencapaciteit, bereikte het niveau van *GPT-2*