Масштабирование научных мировых моделей требует совместного проектирования архитектур, учебных целей и численных методов. Сегодня мы делимся первыми постами в нашей серии о предварительном обучении с низкой точностью, начиная с рецепта NVFP4 от NVIDIA для стабильного 4-битного обучения. Часть 1: Часть 2: Мы рассматриваем основы плавающей точки, эвристики, пользовательские ядра CUDA и методы стабилизации. Будущие записи будут охватывать пользовательские рецепты и результаты на гибридных архитектурах.