Introductie van Paris - 's werelds eerste gedecentraliseerde getrainde open-gewicht diffusie model. We hebben het Paris genoemd naar de stad die altijd een toevluchtsoord is geweest voor degenen die zonder toestemming creëren. Paris is open voor onderzoek en commercieel gebruik.

Parijs doet iets dat niet zou moeten werken. Het is een combinatie van kleinere expert diffusie modellen die vanaf nul zijn voorgetraind, over verschillende continenten in volledige isolatie. Absoluut geen synchronisatie onderling tijdens de training. Dit nul communicatieprotocol bereikt een vergelijkbare kwaliteit als SOTA gedistribueerde benaderingen met 14× minder data en 16× minder rekencapaciteit. Hoe? Zie ons volledige technische rapport en modelgewichten hieronder. Volledig Technisch Rapport: Model Gewichten:

Hier is wat we anders hebben gedaan. Gedecentraliseerde training maakt doorgaans gebruik van parallelismetechnieken zoals dataparallelisme, pipeline-parallelisme, modelparallelisme, enz. Al deze vereisen synchronisatie tussen rekennodes. We hebben deze vereiste volledig verwijderd met Paris door middel van gedecentraliseerde flow matching. Na de training hebben we een lichte DiTRouter gebouwd, ook in volledige isolatie, die leerde om experts te selecteren bij inferentie op basis van ruisige latenten.

De cijfers. Paris behaalde vergelijkbare resultaten als SOTA gedecentraliseerde benaderingen terwijl het gebruik maakte van: 14× minder trainingsdata (11M vs 158M afbeeldingen) 16× minder rekencapaciteit (120 A40 GPU-dagen vs ~1176 A100-dagen) Paris wint ook van monolithische trainingsbaselines. Onze Top-2 routering op DiT-B/2 behaalt FID-50K van 22.60, een verbetering van 7.04 punten ten opzichte van training met een enkel model (29.64).

De resultaten. Deze afbeeldingen zijn afkomstig van 8 experts die tijdens de training nooit met elkaar hebben gesproken. We geloven dat als we deze aanpak kunnen opschalen, dit de eerste echte stap is naar open source superintelligentie. Maar dat vereist het oplossen van nog enkele echt, echt moeilijke problemen. Als je geïnteresseerd bent om ons te helpen dit te bereiken terwijl je het beste open-source werk van je leven doet, kom dan bij ons werken,