Memperkenalkan Paris - model difusi bobot terbuka terlatih terdesentralisasi pertama di dunia. Kami menamainya Paris setelah kota yang selalu menjadi tempat perlindungan bagi mereka yang berkreasi tanpa izin. Paris terbuka untuk penelitian dan penggunaan komersial.

Paris melakukan sesuatu yang seharusnya tidak berhasil. Ini adalah kombinasi dari model difusi ahli yang lebih kecil yang telah dilatih sebelumnya dari awal, di berbagai benua dalam isolasi total. Sinkronisasi sama sekali nol satu sama lain selama pelatihan. Protokol komunikasi nol ini mencapai kualitas yang sebanding dengan pendekatan terdistribusi SOTA menggunakan 14× lebih sedikit data dan 16× lebih sedikit komputasi. Bagaimana? Lihat laporan teknis lengkap dan bobot model kami di bawah ini. Laporan Teknis Lengkap: Bobot Model:

Inilah yang kami lakukan secara berbeda. Pelatihan terdistribusi biasanya menggunakan teknik paralelisme seperti paralelisme data, paralelisme alur, paralelisme model, dll. Semua memerlukan sinkronisasi antar simpul komputasi. Kami menghapus persyaratan ini sepenuhnya dengan Paris melalui pencocokan alur terdesentralisasi. Setelah pelatihan, kami membangun DiTRouter yang ringan, juga dalam isolasi lengkap, yang belajar memilih para ahli dalam inferensi berdasarkan laten yang bising.

Angka-angka. Paris mencapai hasil yang sebanding dengan pendekatan terdesentralisasi SOTA sambil menggunakan: 14× lebih sedikit data pelatihan (11 juta vs 158 juta gambar) 16× lebih sedikit komputasi (120 A40 GPU-hari vs ~1176 A100-hari) Paris juga menang melawan baseline latihan monolitik. Perutean Top-2 kami pada DiT-B/2 mencapai FID-50K sebesar 22,60, peningkatan 7,04 poin dibandingkan pelatihan model tunggal (29,64).

Hasilnya. Gambar-gambar ini berasal dari 8 ahli yang tidak pernah berbicara satu sama lain selama pelatihan. Kami percaya jika kami dapat menskalakan pendekatan ini, ini adalah langkah nyata pertama menuju kecerdasan super open source. Tapi itu membutuhkan pemecahan beberapa masalah yang lebih sulit. Jika Anda tertarik untuk membantu kami mencapai ini sambil melakukan pekerjaan open-source terbaik dalam hidup Anda, ayo bekerja bersama kami,