Menskalakan model dunia ilmiah membutuhkan desain bersama arsitektur, tujuan pelatihan, dan numerik. Hari ini, kami membagikan posting pertama dalam seri kami tentang prapelatihan presisi rendah, dimulai dengan resep NVFP4 NVIDIA untuk pelatihan 4-bit yang stabil. Bagian 1: Bagian 2: Kami membahas dasar-dasar floating point, heuristik, kernel CUDA khusus, dan teknik stabilisasi. Entri mendatang akan mencakup resep khusus dan hasil pada arsitektur hibrida.