Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Элиезер Юдковский, Нейт Соарес

Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех

Всем людям,

умершим в ходе долгой истории нашего вида,

всем, кто еще жив,

и всем детям,

которые когда-нибудь могут появиться

Eliezer Yudkowsky and Nate Soares

If Anyone Builds It, Everyone Dies

Why Superhuman AI Would Kill Us All

Перевод с английского Евгения Поникарова

© 2025 by Eliezer Yudkowsky and Nate Soares

© Е. Поникаров, перевод на русский язык, 2026

© А. Бондаренко, художественное оформление, макет, 2026

© ООО “Издательство Аст”, 2026

Издательство CORPUS ®

Введение

Сложные прогнозы и простые прогнозы

“Снижение риска вымирания человечества из-за искусственного интеллекта должно стать глобальным приоритетом – наравне с пандемиями, ядерной войной и другими угрозами глобального масштаба”.

В начале 2023 года сотни ученых, работающих в сфере искусственного интеллекта, подписали открытое письмо, содержавшее одну эту фразу. Среди тех, кто поставил подпись, были весьма титулованные специалисты в этой области, в частности нобелевский лауреат Джеффри Хинтон и Йошуа Бенджио, получившие премию Тьюринга за создание глубокого обучения.

Мы, Элиезер Юдковский и Нейт Соарес, также подписали это письмо, хотя и сочли его формулировку слишком сдержанной.

Ни нас, ни других подписантов не беспокоят ИИ-модели образца 2023 года. Нас не беспокоят и те модели, что существуют на момент написания этих строк – в начале 2025 года. Современные ИИ-модели все еще кажутся поверхностными в каком-то глубинном смысле, который сложно описать. У них есть ограничения: например, неспособность формировать новые долговременные воспоминания. Эти недостатки пока что не позволяют им проводить серьезные научные исследования или заменять людей на рабочих местах в сколько-нибудь значимом количестве[1].

Наше беспокойство вызывает то, что появится дальше: машинный интеллект, который будет по-настоящему разумным – разумнее любого человека и даже всего человечества в целом. Нас тревожит ИИ, который превзойдет человеческую способность мыслить, обобщать опыт, решать научные задачи, изобретать новые технологии, планировать, вырабатывать стратегии, просчитывать ходы и совершенствовать себя. Когда он превзойдет человека почти во всех интеллектуальных задачах, такой ИИ можно будет назвать искусственным сверхинтеллектом.

Пока еще ИИ-модели не достигли этого уровня. Но сегодня они умнее, чем в 2023 году, и значительно умнее, чем в 2019-м. Исследования в области искусственного интеллекта приводили к одному скачку за другим: в 2012, 2016, 2020, 2022 и 2024 годах[2]. Мы не знаем, выдохнется ли этот прогресс, взяв паузу на какое-то время, пока не появятся новые методы и технологии. Мы не знаем, сколько таких скачков отделяет нас от момента, когда ИИ станет угрозой уровня вымирания, о которой предупреждали авторы открытого письма. Однако история раз за разом показывает: исследователи в области ИИ изобретают новые методы и преодолевают старые препятствия. Зачастую прогресс идет удивительно быстрыми темпами. В 2015 году большинство специалистов по компьютерным наукам сказали бы вам, что собеседник уровня ChatGPT появится только лет через тридцать или даже пятьдесят.

Мы не знаем, когда появится искусственный сверхинтеллект, но согласны, что эта проблема должна иметь глобальный приоритет. Более того, мы считаем, что вышеуказанное открытое письмо сильно недооценивает серьезность проблемы.

Нас пригласили подписать то письмо из одной фразы, поскольку мы руководим Институтом исследований машинного интеллекта (MIRI). Эта некоммерческая организация работает над вопросами, связанными с машинным сверхинтеллектом, с 2001 года, то есть она начала задаваться этими вопросами задолго до того, как они стали широко обсуждаться и привлекать финансирование. Если говорить упрощенно: среди тех немногих, кто следит за этой темой десятилетиями, принято считать, что именно MIRI работает над ней дольше всех. Один из нас, Юдковский, – основатель MIRI; другой, Соарес, – его нынешний президент.

MIRI – первая организованная группа, которая заявила: “В какой-то момент появится искусственный сверхинтеллект, и это событие представляется чрезвычайно важным. Возможно, будет технически сложно направить работу сверхинтеллекта в такое русло, чтобы он помогал человечеству, а не вредил ему. Не лучше ли приступить к решению этой задачи прямо сейчас, а не ждать, пока ситуация превратится в масштабный кризис?”

Но начинали мы не с этого. В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м он осознал, что тот не обязательно окажется дружественным. А в 2003-м он понял, что эта проблема сложна.

Первые два десятилетия своего существования MIRI был институтом технических исследований, практически не участвовавшим в политике. Организация в основном проводила семинары для заинтересованных ученых и давала пристанище нескольким многообещающим исследователям. Мы пытались разработать математический аппарат для понимания и формирования сверхчеловеческого машинного интеллекта, а также для предсказания, что может пойти не так.

Деятельность MIRI имела и непрямые последствия, к которым мы теперь относимся неоднозначно или с сожалением. На одной из организованных нами конференций мы познакомили Демиса Хассабиса и Шейна Легга, основателей компании, которая сейчас называется Google DeepMind, с первым их крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковский “привил многим из нас интерес к ОИИ[3]” и “сыграл ключевую роль в решении запустить OpenAI”[4].

История MIRI сложна, но наши взаимоотношения со всей этой сферой можно описать так: за несколько лет до появления нынешних ИИ-компаний любой, кто хотел, невзирая на риск вымирания, создавать по-настоящему умную модель ИИ, должен был сперва отмахнуться от наших предупреждений.

Позже, когда сфера ИИ начала набирать обороты, мы с тревогой наблюдали, как некоторые люди, основывающие новые компании, заговорили об искусственном сверхинтеллекте как об источнике огромной чудесной силы. Силы, которую они, как им казалось, сумеют контролировать. По мнению многих из них, главная опасность заключалась в том, что искусственный сверхинтеллект может “оказаться” не у тех людей. Они рассуждали о необходимости выиграть “гонку вооружений в области ИИ”. А вот о том, что искусственный сверхинтеллект “окажется” у самого же искусственного сверхинтеллекта – то есть единственным победителем в гонке вооружений в области ИИ будет сам искусственный сверхинтеллект, – основатели компаний не говорили.

Мы видели, что возможности ИИ росли крайне быстро.

Мы видели, что та область исследований, где работали мы сами, – ставящая своей целью понять ИИ и, возможно, не дать ситуации пойти по плохому сценарию – развивалась намного, намного медленнее.

Безоглядное рвение ИИ-компаний к созданию сверхчеловеческого искусственного интеллекта – их стремление создать его как можно быстрее, опередив