Představujeme Paris - první decentralizovaný trénovaný model difúze s otevřenou váhou na světě. Pojmenovali jsme ji Paříž podle města, které bylo vždy útočištěm pro ty, kteří tvořili bez povolení. Paříž je otevřena pro výzkum a komerční využití.

Paris dělá něco, co by nemělo fungovat. Jedná se o kombinaci menších expertních modelů difúze předem natrénovaných od nuly, napříč různými kontinenty v naprosté izolaci. Absolutně nulová synchronizace mezi sebou během tréninku. Tento nulový komunikační protokol dosahuje srovnatelné kvality s distribuovanými přístupy SOTA při použití 14× méně dat a 16× méně výpočetních prostředků. Jak? Podívejte se na naši úplnou technickou zprávu a hmotnosti modelů níže. Úplná technická zpráva: Hmotnosti modelu:

Zde je to, co jsme udělali jinak. Distribuované trénování obvykle používá techniky paralelismu, jako je datový paralelismus, kanálový paralelismus, modelový paralelismus atd. Všechny vyžadují synchronizaci mezi výpočetními uzly. Tento požadavek jsme zcela odstranili s Paříží prostřednictvím decentralizovaného párování toků. Po zaškolení jsme postavili odlehčený DiTRouter, také v úplné izolaci, který se naučil vybírat experty v inferenci na základě hlučných latentů.

Čísla. Paříž dosáhla srovnatelných výsledků s decentralizovanými přístupy SOTA při použití: O 14× méně trénovacích dat (11M vs. 158M obrázků) O 16× méně výpočetních prostředků (120 A40 GPU-days vs ~1176 A100 dní) Paris také vyhrává proti monolitickým tréninkovým základním liniím. Naše top-2 routování na DiT-B/2 dosahuje FID-50K 22,60, což je zlepšení o 7,04 bodu oproti tréninku s jedním modelem (29,64).

Výsledky. Tyto obrázky pocházejí od 8 odborníků, kteří spolu během školení nikdy nemluvili. Věříme, že pokud se nám podaří tento přístup škálovat, je to první skutečný krok k open source superinteligenci. Ale to vyžaduje řešení některých dalších, opravdu velmi těžkých problémů. Pokud máte zájem nám pomoci toho dosáhnout a zároveň dělat nejlepší open-source práci svého života, pojďte pracovat s námi,