Giới thiệu Paris - mô hình khuếch tán trọng số mở phi tập trung đầu tiên trên thế giới. Chúng tôi đặt tên nó là Paris theo tên thành phố luôn là nơi trú ẩn cho những người sáng tạo mà không cần sự cho phép. Paris mở cửa cho nghiên cứu và sử dụng thương mại.

Paris làm điều gì đó mà lẽ ra không nên hoạt động. Đó là sự kết hợp của các mô hình khuếch tán chuyên gia nhỏ hơn được huấn luyện từ đầu, trên các lục địa khác nhau trong sự cô lập hoàn toàn. Hoàn toàn không có sự đồng bộ hóa nào giữa chúng trong quá trình huấn luyện. Giao thức không giao tiếp này đạt được chất lượng tương đương với các phương pháp phân phối SOTA sử dụng ít dữ liệu hơn 14 lần và ít tính toán hơn 16 lần. Làm thế nào? Xem báo cáo kỹ thuật đầy đủ và trọng số mô hình của chúng tôi bên dưới. Báo cáo kỹ thuật đầy đủ: Trọng số mô hình:

Đây là những gì chúng tôi đã làm khác biệt. Đào tạo phân tán thường sử dụng các kỹ thuật song song như song song dữ liệu, song song ống dẫn, song song mô hình, v.v. Tất cả đều yêu cầu đồng bộ hóa giữa các nút tính toán. Chúng tôi đã loại bỏ hoàn toàn yêu cầu này với Paris thông qua việc khớp luồng phi tập trung. Sau khi đào tạo, chúng tôi đã xây dựng một DiTRouter nhẹ, cũng trong sự cách ly hoàn toàn, đã học cách chọn các chuyên gia trong quá trình suy diễn dựa trên các latents ồn ào.

Các con số. Paris đạt được kết quả tương đương với các phương pháp phi tập trung SOTA trong khi sử dụng: 14× ít dữ liệu huấn luyện hơn (11M so với 158M hình ảnh) 16× ít tính toán hơn (120 ngày GPU A40 so với ~1176 ngày A100) Paris cũng vượt trội hơn so với các tiêu chuẩn huấn luyện đơn khối. Phương pháp định tuyến Top-2 của chúng tôi trên DiT-B/2 đạt FID-50K là 22.60, cải thiện 7.04 điểm so với huấn luyện mô hình đơn (29.64).

Kết quả. Những hình ảnh này đến từ 8 chuyên gia chưa bao giờ nói chuyện với nhau trong quá trình đào tạo. Chúng tôi tin rằng nếu có thể mở rộng phương pháp này, đây sẽ là bước đầu tiên thực sự hướng tới siêu trí tuệ mã nguồn mở. Nhưng điều đó đòi hỏi phải giải quyết một số vấn đề thực sự rất khó khăn. Nếu bạn quan tâm đến việc giúp chúng tôi đạt được điều này trong khi thực hiện công việc mã nguồn mở tốt nhất trong đời, hãy đến làm việc với chúng tôi,