Vi presenterar Paris - världens första decentraliserade tränade diffusionsmodell med öppen vikt. Vi döpte den till Paris efter staden som alltid har varit en tillflyktsort för dem som skapar utan tillstånd. Paris är öppet för forskning och kommersiellt bruk.

Paris gör något som inte borde fungera. Det är en kombination av mindre expertmodeller för diffusion som tränats i förväg från grunden, över olika kontinenter i fullständig isolering. Absolut noll synkronisering mellan varandra under träningen. Detta nollkommunikationsprotokoll uppnår jämförbar kvalitet med SOTA-distribuerade metoder med 14 × mindre data och 16 × mindre beräkning. Hur? Se vår fullständiga tekniska rapport och modellvikter nedan. Fullständig teknisk rapport: Modellens vikter:

Här är vad vi gjorde annorlunda. Distribuerad träning använder vanligtvis parallellitetstekniker som dataparallellitet, pipelineparallellitet, modellparallellitet osv. Alla kräver synkronisering mellan beräkningsnoder. Vi tog bort detta krav helt och hållet med Paris genom decentraliserad flödesmatchning. Efter träningen byggde vi en lättviktig DiTRouter, även den helt isolerad, som lärde sig att välja experter på inferens baserat på bullriga latenter.

Siffrorna. Paris uppnådde jämförbara resultat med SOTA:s decentraliserade tillvägagångssätt med hjälp av: 14× mindre träningsdata (11 miljoner jämfört med 158 miljoner bilder) 16 × mindre databehandling (120 A40 GPU-dagar jämfört med ~1176 A100-dagar) Paris vinner också mot monolitiska träningsbaslinjer. Vår topp-2-routing på DiT-B/2 når FID-50K på 22,60, en förbättring med 7,04 poäng jämfört med träning med en modell (29,64).

Resultatet. Dessa bilder kom från 8 experter som aldrig pratade med varandra under träningen. Vi tror att om vi kan skala upp detta tillvägagångssätt är detta det första riktiga steget mot superintelligens med öppen källkod. Men det kräver att vi löser några fler riktigt riktigt svåra problem. Om du är intresserad av att hjälpa oss att uppnå detta samtidigt som du gör ditt livs bästa arbete med öppen källkod, kom och arbeta med oss,