Mở rộng các mô hình thế giới khoa học yêu cầu thiết kế đồng thời các kiến trúc, mục tiêu đào tạo và số học. Hôm nay, chúng tôi chia sẻ các bài viết đầu tiên trong loạt bài về tiền huấn luyện độ chính xác thấp, bắt đầu với công thức NVFP4 của NVIDIA cho việc đào tạo 4-bit ổn định. Phần 1: Phần 2: Chúng tôi đề cập đến các nguyên tắc cơ bản về số thực, các phương pháp heuristics, các kernel CUDA tùy chỉnh và các kỹ thuật ổn định. Các bài viết trong tương lai sẽ đề cập đến các công thức tùy chỉnh và kết quả trên các kiến trúc lai.