Swarm Inference è un punto di svolta per l'industria dell'AI. Per capire perché, devi iniziare a vedere quali sono i ritorni per i costruttori di fornitori di inferenza regolari (GPU nei data center). Metti il cappello da investitore: -Vedi il boom dell'AI. Vuoi partecipare. Comprare GPU, metterle da qualche parte e affittarle è il nucleo di questo modello di business. - Inizi a modellare, costruisci il tuo PnL. Data center, server, connettività, ecc. Questi sono il tuo CAPEX e COGS. Il fatturato si distingue solo per le GPU di alta gamma. L'energia è costosa. La gestione non è banale. - Arrivi a una conclusione rapida: i ritorni sono... difficili, per dirla in modo gentile. Se fai questo esercizio, c'è un semplice TLDR: Contribuire all'economia dell'AI a livello di infrastruttura funziona solo con la scala, o con qualche connessione su potenza/spazio. L'infrastruttura di inferenza è commoditizzata e il rendimento si è compresso. Continuo a cercare un modo per analizzare e suddividere questo, ma sembra semplicemente che non ci sia alpha da trovare qui. Da una prospettiva tecnologica, tutto ciò è una conseguenza del modo in cui l'inferenza ha storicamente funzionato oggi. Hai bisogno di densità di calcolo. Alta larghezza di banda del bus, alta VRAM, ecc. Swarm Inference è un punto di svolta perché la densità di calcolo non è più un requisito. Il CAPEX e il COGS sopra sono una conseguenza della necessità di densità di calcolo. Ma se non hai bisogno di densità di calcolo, allora non hai bisogno di data center. Detto in modo diverso, i singoli fornitori di infrastruttura non devono superare un ostacolo di scala per partecipare. E se non hai bisogno di una scala minima per partecipare, allora forse anche una singola casa può contribuire all'AI con ritorni che hanno effettivamente senso. Ecco perché Swarm Inference è un punto di svolta. È un'innovazione che cambia dove può essere trovato l'alpha. Congratulazioni al team di Fortytwo per aver realizzato un cambiamento di paradigma.