Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Добавьте top-k + обратную связь об ошибках и уберите внешний Nesterov из DiloCo (так что это ~внешний простой SGD).
Я все еще довольно удивлен, что это работает / может заменить Nesterov :0
Классная работа!
22 авг., 10:13
Представляем SparseLoCo: метод эффективной коммуникации для предобучения LLM.
Кратко: Мы используем разрежение Top-k + обратную связь об ошибках с редкими внешними шагами DiLoCo — передавая только 1–3% градиентов с 2-битной квантизацией — превосходя DiLoCo и DeMo. 1/N,
ArXiv:
Github:
5K
Топ
Рейтинг
Избранное