Vi introduserer Paris - verdens første desentraliserte trente diffusjonsmodell med åpen vekt. Vi kalte det Paris etter byen som alltid har vært et tilfluktssted for de som skaper uten tillatelse. Paris er åpen for forskning og kommersiell bruk.

Paris gjør noe som ikke burde fungere. Det er en kombinasjon av mindre ekspertdiffusjonsmodeller forhåndstrent fra bunnen av, på tvers av forskjellige kontinenter i fullstendig isolasjon. Absolutt null synkronisering mellom hverandre under trening. Denne nullkommunikasjonsprotokollen oppnår sammenlignbar kvalitet med SOTA-distribuerte tilnærminger ved å bruke 14× mindre data og 16× mindre databehandling. Hvordan? Se vår fullstendige tekniske rapport og modellvekter nedenfor. Full teknisk rapport: Modellens vekter:

Her er hva vi gjorde annerledes. Distribuert opplæring bruker vanligvis parallellitetsteknikker som dataparallellitet, pipelineparallellitet, modellparallellitet osv. Alle krever synkronisering mellom databehandlingsnoder. Vi fjernet dette kravet helt med Paris gjennom desentralisert flytmatching. Etter trening bygde vi en lett DiTRouter, også i fullstendig isolasjon, som lærte å velge eksperter på inferens basert på støyende latenter.

Tallene. Paris oppnådde sammenlignbare resultater med SOTA desentraliserte tilnærminger mens de brukte: 14× mindre treningsdata (11 millioner bilder mot 158 millioner) 16 × mindre databehandling (120 A40 GPU-dager kontra ~1176 A100-dager) Paris vinner også mot monolittiske treningsgrunnlinjer. Vår Topp-2-ruting på DiT-B/2 treffer FID-50K på 22,60, en forbedring på 7,04 poeng i forhold til enkeltmodelltrening (29,64).

Resultatene. Disse bildene kom fra 8 eksperter som aldri snakket med hverandre under trening. Vi tror at hvis vi kan skalere denne tilnærmingen, er dette det første virkelige skrittet mot åpen kildekode-superintelligens. Men det krever å løse noen flere, virkelig vanskelige problemer. Hvis du er interessert i å hjelpe oss med å oppnå dette mens du gjør det beste åpen kildekode-arbeidet i livet ditt, kom og jobb med oss,