扩展科学世界模型需要共同设计架构、训练目标和数值。今天,我们分享系列关于低精度预训练的第一篇文章,从 NVIDIA 的 NVFP4 稳定 4 位训练配方开始。 第 1 部分: 第 2 部分: 我们涵盖了浮点基础、启发式方法、自定义 CUDA 内核和稳定化技术。未来的条目将涵盖自定义配方和混合架构的结果。