Swarm Inference is een game changer voor de AI-industrie. Om te begrijpen waarom, moet je beginnen met hoe de rendementen eruitzien voor de bouwers van reguliere inferentie leveranciers (GPU's in datacenters). Zet je investeerdershoed op: - Je ziet de boom van AI. Je wilt betrokken raken. GPU's kopen, ze ergens neerzetten en ze verhuren is de kern van dit businessmodel. - Je begint met modelleren, je bouwt je PnL. Datacenters, servers, connectiviteit, enz. Dit zijn je CAPEX en COGS. De omzet valt alleen op voor high-end GPU's. Energie is duur. Beheer is niet triviaal. - Je komt tot een snelle conclusie: de rendementen zijn... zachtjes gezegd, ruw. Als je deze oefening doorloopt, is er een eenvoudige TLDR: Bijdragen aan de AI-economie op infrastructuurniveau werkt alleen met schaal, of een verbinding op energie/ruimte. Inference-infrastructuur is gecommodificeerd en het rendement is gecomprimeerd. Ik blijf proberen een manier te vinden om dit te snijden en te hakken, maar het voelt gewoon alsof er hier simpelweg geen alpha te vinden is. Vanuit technologisch perspectief is dit allemaal een gevolg van de manier waarop Inference historisch gezien vandaag de dag heeft gewerkt. Je hebt computerdichtheid nodig. Hoge busdoorvoer, hoge VRAM, enz. Swarm Inference is een game changer omdat computerdichtheid niet langer een vereiste is. De hierboven genoemde CAPEX en COGS zijn een gevolg van de noodzaak van computerdichtheid. Maar als je geen computerdichtheid nodig hebt, heb je geen datacenters nodig. Anders gezegd, individuele infrastructuurproviders hoeven geen schaalhorde te nemen om deel te nemen. En als je geen minimale schaal nodig hebt om deel te nemen, dan kan misschien zelfs een individueel huis bijdragen aan AI met rendementen die daadwerkelijk logisch zijn. Daarom is Swarm Inference een game changer. Het is innovatie die verandert waar alpha te vinden is. Gefeliciteerd aan het team van Fortytwo voor het uitvoeren van een paradigmaverschuiving.