热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Gradient
在@solana上构建世界上第一个完全分布式的 AI 运行时。
Parallax 性能背后的秘密在于关键的服务器级优化：
– 持续批处理：动态分组请求以最大化硬件利用率和吞吐量。
– 分页 KV-缓存：基于块的设计防止内存碎片化，处理数千个并发请求。
– 异构工作者：在 GPU 和 Mac 上实现最佳性能。
快速。可靠。完全分布式。
2025年6月20日
与 Petals（BitTorrent 式服务）相比，在 2× RTX 5090 上运行 Qwen2.5-72B 的 Parallax 实现了：
– 3.1× 更低的端到端延迟，5.3× 更快的令牌间延迟
– 第一个令牌时间缩短 2.9×，I/O 吞吐量提高 3.1×
结果是一致的，并且显示出跨不同输入配置的极大可扩展性，而这仅仅是个开始。
66.68K
热门
排行
收藏