Dario Amodei powiedział na WEF, że zamierza opublikować kontynuację "Maszyn miłości i łaski". Zostanie wydana dzisiaj, a Axios miał wcześniejszy wgląd dzięki Anthropic. Tytuł to "Młodość technologii: konfrontacja i przezwyciężanie ryzyk potężnej AI."

Kilka cytatów: ' Wierzę, że wkraczamy w rytuał przejścia, zarówno burzliwy, jak i nieunikniony, który sprawdzi, kim jesteśmy jako gatunek. Ludzkość ma otrzymać niemal niepojętą moc, a głęboko nie jest jasne, czy nasze systemy społeczne, polityczne i technologiczne mają dość dojrzałości, aby ją wykorzystać.'

'Jesteśmy teraz w punkcie, w którym modele AI zaczynają robić postępy w rozwiązywaniu nierozwiązanych problemów matematycznych i są na tyle dobre w kodowaniu, że niektórzy z najlepszych inżynierów, jakich kiedykolwiek spotkałem, oddają prawie całe swoje kodowanie AI. Trzy lata temu AI miało problemy z podstawowymi zadaniami arytmetycznymi i ledwo potrafiło napisać jedną linię kodu. Podobne tempo poprawy występuje w biologii, finansach, fizyce i w różnych zadaniach agentowych. Jeśli wykładniczy wzrost się utrzyma — co nie jest pewne, ale ma już dziesięcioletnią historię, która to wspiera — to nie może minąć więcej niż kilka lat, zanim AI będzie lepsze od ludzi w zasadzie we wszystkim. W rzeczywistości ten obraz prawdopodobnie niedoszacowuje prawdopodobnego tempa postępu. Ponieważ AI teraz pisze dużą część kodu w Anthropic, już znacznie przyspiesza tempo naszych postępów w budowaniu następnej generacji systemów AI. Ta pętla sprzężenia zwrotnego nabiera rozpędu z miesiąca na miesiąc i może być tylko 1–2 lata od momentu, w którym obecna generacja AI autonomicznie zbuduje następną. Ta pętla już się rozpoczęła i przyspieszy szybko w nadchodzących miesiącach i latach. Obserwując ostatnie 5 lat postępu z wnętrza Anthropic i patrząc na to, jak nawet modele z najbliższych kilku miesięcy się kształtują, czuję tempo postępu i odliczanie czasu.'

'Jest to dość niezręczne, aby to powiedzieć jako CEO firmy AI, ale myślę, że następny poziom ryzyka to same firmy AI. Firmy AI kontrolują duże centra danych, szkolą nowatorskie modele, mają największą wiedzę na temat tego, jak korzystać z tych modeli, a w niektórych przypadkach mają codzienny kontakt i możliwość wpływania na dziesiątki lub setki milionów użytkowników. Główną rzeczą, której im brakuje, jest legitymacja i infrastruktura państwa, więc wiele z tego, co byłoby potrzebne do zbudowania narzędzi autokracji AI, byłoby nielegalne dla firmy AI, lub przynajmniej niezwykle podejrzane. Ale niektóre z tego nie są niemożliwe: mogliby na przykład użyć swoich produktów AI do prania mózgów swojej ogromnej bazy konsumentów, a społeczeństwo powinno być czujne na ryzyko, które to reprezentuje. Myślę, że zarządzanie firmami AI zasługuje na dużą uwagę.'

'Jak sugeruje fraza „kraj geniuszy w centrum danych”, AI będzie zdolne do bardzo szerokiego zakresu ludzkich zdolności poznawczych—może nawet wszystkich. To bardzo różni się od wcześniejszych technologii, takich jak zmechanizowane rolnictwo, transport czy nawet komputery. To sprawi, że ludziom będzie trudniej łatwo przechodzić z pracy, która zostanie zlikwidowana, do podobnych stanowisk, do których by się nadawali. Na przykład ogólne zdolności intelektualne wymagane na stanowiskach na poziomie podstawowym w takich dziedzinach jak finanse, doradztwo i prawo są dość podobne, nawet jeśli konkretna wiedza jest dość różna. Technologia, która zakłóciłaby tylko jedną z tych trzech dziedzin, pozwoliłaby pracownikom przejść do dwóch pozostałych bliskich substytutów (lub studentom zmienić kierunek studiów). Ale zakłócenie wszystkich trzech jednocześnie (wraz z wieloma innymi podobnymi stanowiskami) może być trudniejsze do przystosowania się dla ludzi. Co więcej, nie chodzi tylko o to, że większość istniejących miejsc pracy zostanie zakłócona. Ta część miała już miejsce wcześniej—przypomnijmy, że rolnictwo stanowiło ogromny procent zatrudnienia. Ale rolnicy mogli przejść do stosunkowo podobnej pracy przy obsłudze maszyn fabrycznych, mimo że ta praca nie była wcześniej powszechna. W przeciwieństwie do tego, AI coraz bardziej odpowiada ogólnemu profilowi poznawczemu ludzi, co oznacza, że będzie również dobre w nowych zawodach, które zwykle byłyby tworzone w odpowiedzi na automatyzację starych. Innymi słowy, AI nie jest substytutem konkretnych ludzkich zawodów, ale raczej ogólnym substytutem pracy dla ludzi.'

'Na przykład, w kodowaniu nasze modele przeszły od poziomu „średniego programisty” do „silnego programisty” do „bardzo silnego programisty”. Teraz zaczynamy dostrzegać tę samą progresję w pracy biurowej w ogóle. Jesteśmy zatem narażeni na sytuację, w której, zamiast wpływać na ludzi z określonymi umiejętnościami lub w określonych zawodach (którzy mogą się dostosować poprzez przekwalifikowanie), AI wpływa na ludzi z pewnymi wewnętrznymi właściwościami poznawczymi, a mianowicie niższymi zdolnościami intelektualnymi (co jest trudniejsze do zmiany). Nie jest jasne, dokąd ci ludzie pójdą ani co będą robić, i obawiam się, że mogą stworzyć bezrobotną lub bardzo niskopłatną „klasę niższą”. '

Anthropic planuje zatrzymać pracowników nawet po tym, jak "przestaną dostarczać wartości ekonomicznej w tradycyjnym sensie." "Po trzecie, firmy powinny pomyśleć o tym, jak dbać o swoich pracowników. W krótkim okresie kreatywne podejście do sposobów przekwalifikowania pracowników w ramach firm może być obiecującym sposobem na uniknięcie konieczności zwolnień. W dłuższym okresie, w świecie o ogromnym bogactwie całkowitym, w którym wiele firm znacznie zwiększa swoją wartość dzięki wzrostowi wydajności i koncentracji kapitału, może być możliwe płacenie ludzkim pracownikom nawet długo po tym, jak przestaną dostarczać wartości ekonomicznej w tradycyjnym sensie. Anthropic obecnie rozważa szereg możliwych ścieżek dla naszych pracowników, które wkrótce przedstawimy."

'Wszyscy współzałożyciele Anthropic zobowiązali się do przekazania 80% naszego majątku.'

Niektóre ciężkie prawdy, zgadzam się z tym całkowicie i mówiłem podobne rzeczy wiele razy. 'Dodatkowo, ostatnie kilka lat powinno jasno pokazać, że pomysł zatrzymania lub nawet znacznego spowolnienia technologii jest zasadniczo niemożliwy. Formuła budowania potężnych systemów AI jest niezwykle prosta, tak bardzo, że można powiedzieć, że pojawia się niemal spontanicznie z odpowiedniej kombinacji danych i surowej obliczeniowej mocy. Jej stworzenie było prawdopodobnie nieuniknione w momencie, gdy ludzkość wynalazła tranzystor, a może nawet wcześniej, gdy po raz pierwszy nauczyliśmy się kontrolować ogień. Jeśli jedna firma tego nie zbuduje, inne zrobią to niemal tak szybko. Jeśli wszystkie firmy w krajach demokratycznych zatrzymałyby lub spowolniły rozwój, na mocy wzajemnej zgody lub regulacji, to kraje autorytarne po prostu by kontynuowały. Biorąc pod uwagę niesamowitą wartość ekonomiczną i militarną tej technologii, w połączeniu z brakiem jakiegokolwiek sensownego mechanizmu egzekwowania, nie widzę, jak moglibyśmy ich przekonać do zaprzestania.'

Świetne rzeczy, zdecydowanie warto przeczytać całość. "Lata przed nami będą niewiarygodnie trudne, wymagając od nas więcej, niż myślimy, że możemy dać. Ale w moim czasie jako badacz, lider i obywatel, widziałem wystarczająco dużo odwagi i szlachetności, by wierzyć, że możemy wygrać - że w najciemniejszych okolicznościach ludzkość ma sposób na zebranie, zdawałoby się w ostatniej chwili, siły i mądrości potrzebnej do przetrwania. Nie mamy czasu do stracenia."