Недавно я был и впечатлён, и развеселён, узнав о VaultGemma, недавней инициативе Google по предварительной тренировке LLM с дифференциальной приватностью. Кратко: - первый LLM без обнаруживаемой запоминания обучающих данных - все трюки, которые только можно придумать, 100 раз больше вычислительных мощностей, достигли уровня *GPT-2*