Нещодавно я був одночасно вражений і розважався, коли дізнався про VaultGemma, нещодавні зусилля Google щодо попереднього навчання LLM з диференційною конфіденційністю TLDR: - перший LLM без виявлення запам'ятовування тренувальних даних - кожен трюк у книзі, у 100 разів більше обчислень, дійшов до рівня *GPT-2*