Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

чтобы ваша страна в одностороннем порядке прекратила исследования в области ИИ и отстала. Она в том, чтобы достаточное количество ведущих держав выразило готовность остановить эту суицидальную гонку по всему миру, чтобы ваша собственная страна не оказалась в невыгодном положении, согласившись прекратить восхождение по лестнице эскалации ИИ.

Мы уже упоминали, что Риши Сунак признал существование рисков, связанных с искусственным сверхинтеллектом, в октябре 2023 года, когда он занимал пост премьер-министра Великобритании. Также в октябре 2023 года генеральный секретарь Китая Си Цзиньпин подал (как нам кажется) слабые сигналы в этом направлении в кратком документе по международному управлению, который включал призыв «обеспечить, чтобы ИИ всегда оставался под контролем человека».

Эти и другие сигналы вселяют в нас надежду на то, что среди мировых лидеров уже есть запрос на подобный договор, и что они могли бы рассмотреть возможность его подписания, если ни одной из их стран не придется ради этого жертвовать своими преимуществами. В данном вопросе все на Земле оказались в одной и той же ловушке.

Если вы являетесь выборным должностным лицом или политическим лидером: Обратите внимание своих коллег на эту проблему. Сделайте всё возможное, чтобы заложить основу для договоров, которые прекратят любые исследования и разработки в области ИИ, способные привести к созданию сверхинтеллекта.

Мы понимаем, что выражение обеспокоенности по этим вопросам может звучать странно и радикально. Мы общались со многими выборными должностными лицами, которые обеспокоены, но говорят, что не могут высказываться открыто, не рискуя оказаться в неловком положении из-за того, насколько дико это звучит.

Пожалуйста, подумайте — особенно к тому моменту, когда вы будете это читать, — действительно ли весь остальной мир настроен против вас в этом вопросе. Опрос YouGov, проведённый в 2023 году, показал, что 69% опрошенных избирателей в США считают, что ИИ следует регулировать как опасную и мощную технологию. Опрос 2025 года показал, что 60% опрошенных избирателей в Великобритании поддерживают законы против создания искусственного сверхинтеллекта, а 63% поддерживают запрет на ИИ, способный создавать ещё более умный ИИ. Эта проблема пока не стоит на первом месте в умах избирателей, но людям несложно понять, что создание искусственного интеллекта, значительно превосходящего человеческий, может плохо закончиться для человечества. Возможно, здесь кроется шанс для того, у кого хватит смелости открыто отстаивать свои убеждения.

А если вы политик, который не до конца убеждён: Мы не любим прибегать к спасительным «может быть». Мы считаем, что наши аргументы весомы сами по себе. Мы считаем очевидным, что искусственный сверхинтеллект не станет послушно служить своим создателям и что ИСИ перестроит Землю так, что на ней не останется выживших. Но мы понимаем, что некоторым людям трудно ориентироваться в спорах в незнакомой области. Даже если вы не можете определить, разбиваются ли наши доводы о первый же услышанный вами контраргумент, надеемся, к этому моменту вы уже понимаете, что далеко не очевидно, что всё обойдётся.

Поэтому мы просим вас: пожалуйста, сделайте так, чтобы у человечества оставалась хотя бы возможность резко нажать на тормоза позже, даже если сейчас вы не готовы этого сделать. Потребуйте, чтобы кластеры графических процессоров (GPU) были сосредоточены в центрах, где они впоследствии могли бы подлежать контролю в рамках международных договоров, прежде чем они распространятся по всему миру и сделают остановку прогресса ИИ гораздо более трудной задачей. Создайте условия сейчас, чтобы, если в будущем вы измените свое мнение о серьезности угрозы, не оказалось слишком поздно.

Если вы журналист , который серьёзно относится к этим вопросам: Миру нужна журналистика, которая относится к этой теме со всей серьёзностью, которой она заслуживает; журналистика, которая копает глубже поверхностных и простых заголовков о раздувающих хайп главах технологических компаний; журналистика, которая помогает обществу понять, что нас ждёт. Здесь скрывается множество тем, заслуживающих постоянного внимания и более глубокого расследования, чем те, что проводились до сих пор.

Руководители этих компаний всё чаще призывают общество ускорить развитие технологий, при этом под запись признавая, что эта же технология несёт в себе существенный риск вымирания человечества. Исследователи безопасности ИИ увольняются из компаний из соображений безопасности, заявляя, что проблема выглядит пугающе сложной. Что вообще происходит? Не отвлекайтесь слишком сильно на личности, когда пишете подобный материал, даже если в ИИ-компании полно ярких людей и конфликтов. Всякий раз, когда появляется подобная история, она заслуживает трезвого упоминания о том, что самые авторитетные сторонние учёные предупреждают о катастрофе — в качестве фона для очередных проделок ИИ-компаний.

Серьёзный разговор на эту тему может казаться рискованным в мире, который ещё не считает вымирание человечества популярной темой и которому словосочетание «машинный сверхинтеллект» кажется диким. И ваш редактор всё ещё может опасаться неловкости, даже когда мир будет готов к этой истории. Но какой бы материал об искусственном интеллекте вы ни написали, это, вероятно, окажет наибольшее влияние на человечество за всю вашу журналистскую карьеру; даже самое слабое воздействие здесь — это толчок чего-то огромного и смертоносного. Если и когда человечество наконец возьмётся за ум, о какой истории вы пожалеете, что не рассказали её, чтобы помочь людям опомниться? Какую пользу вы можете принести, отнесясь к этому более серьёзно раньше остальных журналистов?

Если человечеству суждено выдержать это испытание, люди должны понимать, с чем они столкнулись. Это задача журналистов ничуть не меньше, чем учёных.

Что же касается всех остальных: Большинство людей — не эксперты в области политики, не политики и не журналисты. Что же можете сделать лично вы, чтобы отменить предначертанную нам участь?

Мы не просим вас полностью отказываться от инструментов ИИ. По мере их совершенствования вам, возможно, придётся ими пользоваться, чтобы не отстать от остальных. Эта ловушка вполне реальна, она не выдумана. И даже если 60 процентов жителей вашей страны объявят бойкот ИИ-компаниям, это не спасёт мир. Поэтому мы не просим вас ставить себя в крайне невыгодное положение ради относительно небольшой пользы.i

Если вы живёте в демократической стране, вы можете написать своим выборным представителям и заявить о своей обеспокоенности. По ссылке ниже вы найдёте полезные ресурсы, которые помогут вам в этом.

А ещё вы можете голосовать. В странах, где выборы делятся на предварительные (праймериз) и всеобщие (как в США), ваш голос важнее всего именно на праймериз. Если ваш выборный представитель ратует за форсирование разработки ИИ, вы можете поддержать его оппонентов — финансово или своим голосом.

Вы можете выходить на марши протеста. Мы полагаем, что они принесут гораздо больше пользы, если будут массовыми и законными.ii По ссылке