Swarm Inference to przełom w branży AI. Aby zrozumieć dlaczego, musisz zacząć od tego, jak wyglądają zwroty dla budowniczych zwykłych dostawców inferencji (GPU w centrach danych). Załóż kapelusz inwestora: -Widzisz boom AI. Chcesz się zaangażować. Kupowanie GPU, umieszczanie ich gdzieś i wynajmowanie to sedno tego modelu biznesowego. - Zaczynasz modelować, budujesz swoje PnL. Centra danych, serwery, łączność itd. To jest twój CAPEX i COGS. Przychody wyróżniają się tylko w przypadku wysokiej klasy GPU. Energia jest droga. Zarządzanie nie jest trywialne. - Dochodzisz do szybkiego wniosku: zwroty są... delikatnie mówiąc, trudne. Jeśli przejdziesz przez to ćwiczenie, jest prosty TLDR: Udział w gospodarce AI na poziomie infrastruktury działa tylko na dużą skalę lub w przypadku pewnych połączeń dotyczących mocy/przestrzeni. Infrastruktura inferencyjna jest skomodyfikowana, a zyski zostały skompresowane. Wciąż próbuję znaleźć sposób, aby to pokroić i pokroić, ale po prostu czuję, że nie ma tu żadnego alfa do znalezienia. Z perspektywy technologicznej, to wszystko jest konsekwencją sposobu, w jaki inferencja historycznie działała do dziś. Potrzebujesz gęstości obliczeniowej. Wysoka przepustowość magistrali, duża VRAM itd. Swarm Inference to przełom, ponieważ gęstość obliczeniowa nie jest już wymagana. CAPEX i COGS powyżej są konsekwencją konieczności gęstości obliczeniowej. Ale jeśli nie potrzebujesz gęstości obliczeniowej, to nie potrzebujesz centrów danych. Mówiąc inaczej, indywidualni dostawcy infrastruktury nie muszą pokonywać przeszkody skalowania, aby uczestniczyć. A jeśli nie potrzebujesz minimalnej skali, aby uczestniczyć, to może nawet indywidualny dom może przyczynić się do AI z zwrotami, które naprawdę mają sens. Dlatego Swarm Inference to przełom. To innowacja, która zmienia miejsce, w którym można znaleźć alfa. Gratulacje dla zespołu Fortytwo za realizację zmiany paradygmatu.