Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Thêm top-k + phản hồi lỗi và loại bỏ Nesterov bên ngoài khỏi DiloCo (do đó ~SGD bình thường bên ngoài).
Tôi vẫn khá ngạc nhiên rằng nó hoạt động / có thể thay thế Nesterov :0
Công việc tuyệt vời!
10:13 22 thg 8
Giới thiệu SparseLoCo: một phương pháp hiệu quả trong giao tiếp cho việc tiền huấn luyện LLM.
Tóm tắt: Chúng tôi tận dụng sự thưa thớt Top-k + phản hồi lỗi với các bước ngoài không thường xuyên của DiLoCo—chỉ truyền đạt 1–3% gradient với định lượng 2-bit—vượt trội hơn DiLoCo và DeMo. 1/N,
ArXiv:
Github:
5,01K
Hàng đầu
Thứ hạng
Yêu thích