Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

привести к роковому ядерному столкновению. Страны заключали договоры об ограничении вооружений и вводили механизмы контроля. Между руководством США и руководством СССР появилась прямая линия связи, чтобы в критический момент можно было быстро прояснить ситуацию.

Человечество избежало ядерной войны, поскольку люди, понимающие, что мир идет по пути к уничтожению, упорно работали над тем, чтобы изменить курс. Они не считали, что пытаются предотвратить маловероятную случайность. Они работали ради того, чтобы переписать уже предначертанную судьбу.

И цивилизация выжила.

Итак, как нам переписать нашу судьбу?

Мы уже изложили, что нужно сделать, чтобы человечество выжило. Теперь давайте рассмотрим, что можно сделать и кто именно это может сделать.

Если вы работаете в правительстве. Мы полагаем, что заключению какого-либо международного договора предшествуют сигналы от стран или их лидеров о готовности к нему. Крупные государства должны открыто заявить: “Мы предпочли бы не умирать из-за машинного сверхинтеллекта. Мы выступаем за международный договор и создание коалиции против его разработки”.

Цель не в том, чтобы ваша страна в одностороннем порядке прекратила исследования искусственного интеллекта и отстала в гонке. А в том, чтобы достаточное количество крупных государств выразило готовность остановить эту самоубийственную гонку повсеместно – так чтобы ваша страна не оказалась в невыгодном положении, если она согласится прекратить подъем по лестнице эскалации ИИ.

Мы уже упоминали, что Риши Сунак, будучи премьер-министром Соединенного Королевства, в октябре 2023 года признал существование рисков, связанных с искусственным сверхинтеллектом1. В том же месяце слабый сигнал в этом направлении подал (как нам кажется) председатель КНР Си Цзиньпин: один короткий документ о международном управлении содержал призыв “обеспечить, чтобы ИИ всегда оставался под контролем человека”2.

Эти и другие признаки вселяют в нас надежду, что мировые лидеры уже проявляют интерес к договору и готовы его обсуждать, если ради подписания такого документа их странам не придется жертвовать своими преимуществами3. В данном случае все мы на Земле в одной связке.

Если вы избранное должностное лицо или политический лидер. Привлеките внимание ваших коллег к этой проблеме. Сделайте все возможное, чтобы заложить основу для договоров, которые остановят любые исследования и разработки в области ИИ, способные привести к появлению сверхинтеллекта.

Мы осознаем, что выражение обеспокоенности этими вопросами может казаться странным. Мы беседовали с несколькими представителями власти, которые разделяют наши опасения, но признаются, что не могут высказываться свободно, не рискуя оказаться в неудобном положении, поскольку звучит все это дико.

Пожалуйста, задумайтесь, особенно сейчас, когда читаете эти строки, действительно ли остальной мир настроен в этом вопросе против вас. Проведенный компанией YouGov в 2023 году опрос показал: 69 % опрошенных избирателей США считают, что ИИ должен регулироваться как опасная и мощная технология4. В 2025 году 60 % опрошенных избирателей Великобритании поддержали законы против создания искусственного сверхинтеллекта, а 63 % поддержали запрет тех ИИ-моделей, которые могут создавать более умные модели5. Эта тема пока не занимает верхних строчек в повестке избирателей, но людям нетрудно осознать, что создание ИИ-модели, сильно превосходящей человеческий интеллект, не приведет человечество ни к чему хорошему. Здесь открываются возможности для тех, у кого хватит смелости отстаивать свои убеждения.

Если вы, наоборот, политик, который пока не полностью убежден. Мы не любим отступать на позиции “может быть”. Мы считаем, что наша аргументация убедительна. Мы уверены, что искусственный сверхинтеллект не станет послушно служить своим создателям и переустроит Землю таким образом, что выживших не останется. Однако мы понимаем, что некоторым людям трудно оценить разногласия в незнакомой для них области. Даже если вы не уверены, разбивается ли наш тезис первым же встречным возражением, мы надеемся, что вы уже видите: утверждение “Все будет хорошо” – это отнюдь не самоочевидный прогноз.

Поэтому мы обращаемся к вам с просьбой: пожалуйста, дайте человечеству хотя бы возможность резко ударить по тормозам позже, даже если сейчас вы к этому не готовы. Добивайтесь, чтобы кластеры графических процессоров концентрировались в центрах, где впоследствии их можно будет контролировать в рамках международных договоров, иначе они расползутся по миру, что значительно усложнит остановку прогресса ИИ. Создавайте условия сейчас, чтобы не оказалось слишком поздно, если в какой-то момент в будущем вы измените свое мнение о серьезности угрозы.

Если вы журналист, серьезно относящийся к проблеме. Миру нужна журналистика, которая подходит к этой теме с подобающей серьезностью, журналистика, которая глубже поверхностных заголовков о раздувающих ажиотаж руководителях технологических компаний, журналистика, помогающая обществу осмыслить грядущее. В этой сфере хватает историй, заслуживающих системного освещения и более глубоких расследований, нежели мы видели до сих пор.

Главы ИИ-компаний все настойчивее призывают общество ускорить развитие этой технологии – публично признавая, что эта же самая технология несет существенный экзистенциальный риск. Исследователи, занимающиеся согласованием искусственного интеллекта, покидают корпорации, ссылаясь на соображения безопасности и заявляя, что проблема выглядит пугающе сложной. Какого черта происходит? Когда вы пишете об этом, не позволяйте личностям затмить суть, даже если в ИИ-компании полно ярких людей и конфликтов. Любой материал такого рода должен сопровождаться сдержанным напоминанием: авторитетные независимые ученые предупреждают о катастрофе. Вот что должно служить фоном для очередных выкрутасов и подковерных игр ИИ-компаний.

Возможно, всерьез писать об этой проблеме страшновато: мир еще не решил, что вымирание человечества – тема популярная, а идея машинного сверхинтеллекта для многих выглядит дико. Подобная тема может смущать вашего редактора – даже после того, как мир будет готов к этой истории. Но что бы вы ни написали об искусственном интеллекте, это, вероятно, станет вашим самым значимым журналистским вкладом в судьбу человечества: даже самый слабый толчок здесь означает противодействие чему-то колоссальному и гибельному. Если – и когда – человечество наконец возьмется за ум, какую историю вы хотели бы рассказать, чтобы открыть людям глаза? Сколько пользы вы принесете, если всерьез возьметесь за эту тему раньше, чем это сделают другие журналисты?

Чтобы человечество пережило этот вызов, люди должны знать, с чем они столкнулись. И это работа журналистов в неменьшей мере, чем ученых.

И все остальные. Большинство людей – не эксперты-технократы, не политики и не журналисты. Что же можете сделать лично вы, чтобы переписать нашу судьбу?

Мы не просим вас полностью отказаться от использования ИИ-инструментов. По мере их совершенствования вам, возможно, придется ими пользоваться, иначе вы отстанете от тех, кто это делает. Это реальная ловушка, а не воображаемая. И даже если 60 % жителей вашей страны объявят бойкот ИИ-компаниям, мир это не спасет. Поэтому мы не просим вас ставить себя в заведомо проигрышное положение по сравнению с другими ради