Fiquei impressionado e divertido recentemente ao aprender sobre o VaultGemma, recente esforço do Google para pré-treinar um LLM com privacidade diferencial TLDR: - primeiro LLM sem memorização de dados de treinamento detectável - todos os truques do livro, 100x mais computação, chegaram ao nível de *GPT-2*