Ostatnio byłem zarówno pod wrażeniem, jak i rozbawiony, gdy dowiedziałem się o VaultGemma, nowym wysiłku Google, aby wstępnie wytrenować LLM z różnicową prywatnością. TLDR: - pierwszy LLM bez wykrywalnej memoracji danych treningowych - wszystkie sztuczki w książce, 100 razy więcej mocy obliczeniowej, osiągnęło poziom *GPT-2*