L'échelle des modèles du monde scientifique nécessite la co-conception d'architectures, d'objectifs d'entraînement et de numéries. Aujourd'hui, nous partageons les premiers articles de notre série sur le pré-entraînement à faible précision, en commençant par la recette NVFP4 de NVIDIA pour un entraînement stable en 4 bits. Partie 1 : Partie 2 : Nous couvrons les fondamentaux des points flottants, les heuristiques, les noyaux CUDA personnalisés et les techniques de stabilisation. Les futures entrées couvriront des recettes personnalisées et des résultats sur des architectures hybrides.