擴展科學世界模型需要共同設計架構、訓練目標和數值。今天，我們分享我們關於低精度預訓練系列的第一篇文章，首先介紹 NVIDIA 的 NVFP4 配方，用於穩定的 4 位訓練。 第 1 部分： 第 2 部分： 我們涵蓋了浮點基礎知識、啟發式方法、自定義 CUDA 核心和穩定化技術。未來的條目將涵蓋自定義配方和混合架構的結果。