J'ai été à la fois impressionné et amusé récemment d'apprendre à propos de VaultGemma, un effort récent de Google pour préformer un LLM avec la confidentialité différentielle. Résumé : - premier LLM sans mémorisation détectable des données d'entraînement - toutes les astuces du livre, 100 fois plus de calcul, ont atteint le niveau de *GPT-2*