Дарио Амодеи сказал на Всемирном экономическом форуме, что он собирается опубликовать продолжение "Машин любящей грации". Оно будет выпущено сегодня, и Axios получил ранний доступ к нему от Anthropic. Оно называется "Подростковый возраст технологий: противостояние и преодоление рисков мощного ИИ."

Некоторые цитаты: 'Я верю, что мы вступаем в обряд посвящения, как бурный, так и неизбежный, который проверит, кто мы как вид. Человечеству вот-вот будет передана почти невообразимая сила, и совершенно неясно, обладают ли наши социальные, политические и технологические системы зрелостью, чтобы ею распорядиться.'

'Мы сейчас на том этапе, когда модели ИИ начинают добиваться успехов в решении неразрешенных математических задач и достаточно хороши в программировании, чтобы некоторые из самых сильных инженеров, которых я когда-либо встречал, теперь передают почти все свое кодирование ИИ. Три года назад ИИ с трудом справлялся с арифметическими задачами начальной школы и едва мог написать одну строку кода. Подобные темпы улучшения наблюдаются в биологических науках, финансах, физике и в различных агентных задачах. Если экспоненциальный рост продолжится — что не является определенным, но теперь имеет десятилетний опыт, подтверждающий это — то не может пройти больше нескольких лет, прежде чем ИИ станет лучше людей практически во всем. На самом деле, эта картина, вероятно, недооценит предполагаемую скорость прогресса. Поскольку ИИ теперь пишет большую часть кода в Anthropic, он уже существенно ускоряет темпы нашего прогресса в создании следующего поколения систем ИИ. Этот замкнутый цикл набирает обороты месяц за месяцем и может быть всего в 1–2 годах от момента, когда текущее поколение ИИ автономно создаст следующее. Этот цикл уже начался и будет быстро ускоряться в ближайшие месяцы и годы. Наблюдая за последними 5 годами прогресса изнутри Anthropic и глядя на то, как даже следующие несколько месяцев моделей формируются, я чувствую темп прогресса и тиканье часов.'

"Несколько неловко говорить это в качестве генерального директора компании по разработке ИИ, но я думаю, что следующий уровень риска на самом деле представляют собой сами компании по разработке ИИ. Компании ИИ контролируют большие дата-центры, обучают передовые модели, обладают наибольшей экспертизой в том, как использовать эти модели, и в некоторых случаях имеют ежедневный контакт и возможность влиять на десятки или сотни миллионов пользователей. Главное, чего им не хватает, это легитимности и инфраструктуры государства, поэтому многое из того, что было бы необходимо для создания инструментов ИИ-автократии, было бы незаконно для компании ИИ, или, по крайней мере, крайне подозрительно. Но некоторые вещи не невозможны: они могли бы, например, использовать свои ИИ-продукты для промывания мозгов своей огромной потребительской базе, и общественность должна быть настороже к риску, который это представляет. Я думаю, что управление компаниями ИИ заслуживает большого внимания."

«Как предполагает фраза "страна гениев в дата-центре", ИИ будет способен на очень широкий спектр человеческих когнитивных способностей — возможно, на все из них. Это очень отличается от предыдущих технологий, таких как механизированное сельское хозяйство, транспорт или даже компьютеры. Это усложнит людям возможность легко переключаться с рабочих мест, которые будут заменены, на аналогичные рабочие места, для которых они были бы хорошими кандидатами. Например, общие интеллектуальные способности, необходимые для начальных должностей в, скажем, финансах, консалтинге и праве, довольно схожи, даже если конкретные знания довольно различны. Технология, которая нарушила бы только одну из этих трех областей, позволила бы работникам перейти к двум другим близким заменам (или студентам сменить специальность). Но одновременное разрушение всех трех (вместе с многими другими аналогичными работами) может быть сложнее для людей, чтобы адаптироваться. Более того, дело не только в том, что большинство существующих рабочих мест будет нарушено. Эта часть уже происходила раньше — вспомните, что сельское хозяйство составляло огромный процент занятости. Но фермеры могли перейти к относительно схожей работе по управлению заводскими машинами, даже если эта работа не была распространена ранее. В отличие от этого, ИИ все больше соответствует общему когнитивному профилю человека, что означает, что он также будет хорош в новых работах, которые обычно создаются в ответ на автоматизацию старых. Другими словами, ИИ не является заменой конкретным человеческим работам, а скорее общей заменой труда для людей.

"Например, в кодировании наши модели прошли путь от уровня "среднего программиста" к "сильному программисту" и далее к "очень сильному программисту". Мы теперь начинаем наблюдать ту же прогрессию в офисной работе в целом. Таким образом, мы рискуем оказаться в ситуации, когда, вместо того чтобы затрагивать людей с конкретными навыками или в конкретных профессиях (которые могут адаптироваться через переподготовку), ИИ затрагивает людей с определенными врожденными когнитивными свойствами, а именно с более низкими интеллектуальными способностями (что труднее изменить). Неясно, куда эти люди пойдут или что они будут делать, и я обеспокоен тем, что они могут сформировать безработный или очень низкооплачиваемый "низший класс"."

Anthropic планирует сохранять сотрудников даже после того, как они "больше не будут приносить экономическую ценность в традиционном смысле." "В-третьих, компаниям следует подумать о том, как заботиться о своих сотрудниках. В краткосрочной перспективе креативные способы перераспределения сотрудников внутри компаний могут стать многообещающим способом избежать необходимости сокращений. В долгосрочной перспективе, в мире с огромным общим богатством, где многие компании значительно увеличивают свою стоимость благодаря повышению производительности и концентрации капитала, может быть целесообразно платить человеческим сотрудникам даже долго после того, как они больше не будут приносить экономическую ценность в традиционном смысле. Anthropic в настоящее время рассматривает ряд возможных путей для наших собственных сотрудников, которые мы поделимся в ближайшем будущем."

"Все соучредители Anthropic пообещали пожертвовать 80% нашего богатства."

Некоторые тяжелые истины, я полностью с этим согласен и много раз говорил подобные вещи. "Более того, последние несколько лет должны ясно показать, что идея остановки или даже значительного замедления технологий в корне неосуществима. Формула для создания мощных систем ИИ невероятно проста, настолько, что можно почти сказать, что она возникает спонтанно из правильного сочетания данных и вычислительных мощностей. Ее создание, вероятно, было неизбежным в тот момент, когда человечество изобрело транзистор, или, возможно, даже раньше, когда мы впервые научились контролировать огонь. Если одна компания не создаст это, другие сделают это почти так же быстро. Если все компании в демократических странах остановят или замедлят развитие по взаимному соглашению или регуляторному указу, то авторитарные страны просто продолжат. Учитывая невероятную экономическую и военную ценность технологии, вместе с отсутствием какого-либо значимого механизма принуждения, я не вижу, как мы могли бы убедить их остановиться."

Отличные вещи, это определенно стоит прочитать целиком. "Годы, которые ждут нас впереди, будут невероятно трудными, требуя от нас больше, чем мы думаем, что можем дать. Но за время моей работы в качестве исследователя, лидера и гражданина я видел достаточно мужества и благородства, чтобы верить, что мы можем победить — что, оказавшись в самых темных обстоятельствах, человечество находит способ собрать, казалось бы, в последнюю минуту, силу и мудрость, необходимые для победы. У нас нет времени терять."