Swarm Inference este un schimbător de joc pentru industria AI. Pentru a înțelege de ce, trebuie să începeți cu cum arată randamentele pentru constructorii de furnizori obișnuiți de inferență (GPU-uri în centrele de date). Pune-ți pălăria de investitor: -Vezi boom-ul AI. Vrei să te implici. Cumpărarea de GPU-uri, plasarea lor undeva și închirierea lor este nucleul acestui model de afaceri. - Începi să modelezi, îți construiești PnL. Centre de date, servere, conectivitate etc. Acesta este CAPEX și COGS. Top-line iese în evidență doar pentru GPU-urile high-end. Energia este scumpă. Managementul nu este trivial. - Ajungeți la o concluzie rapidă: retururile sunt... cel puțin dur. Dacă parcurgeți acest exercițiu, există un TLDR simplu: Contribuția la economia AI la nivel de infrastructură funcționează doar la scară sau se conectează la energie/spațiu. Infrastructura de inferență este comoditizată și randamentul s-a comprimat. Continui să încerc să găsesc o modalitate de a tăia și tăia asta, dar se simte ca și cum pur și simplu nu există niciun alfa aici. Din perspectiva tehnologiei, toate acestea sunt o consecință a modului în care Inference a funcționat astăzi. Aveți nevoie de densitate de calcul. Debit ridicat al magistralei, VRAM ridicat etc. Inferența roiului schimbă jocul, deoarece densitatea de calcul nu mai este o cerință. CAPEX și COGS de mai sus sunt o consecință a necesității densității de calcul. Dar dacă nu aveți nevoie de densitate de calcul, atunci nu aveți nevoie de centre de date. Altfel spus, furnizorii individuali de infrastructură nu trebuie să treacă de un obstacol de scalare pentru a participa. Și dacă nu aveți nevoie de scară minimă pentru a participa, atunci poate chiar și o casă individuală poate contribui la AI cu profituri care chiar au sens. De aceea, Swarm Inference schimbă jocul. Inovația este cea care schimbă locul în care poate fi găsit alfa. Felicitări echipei de la Fortytwo pentru executarea unei schimbări de paradigmă.