Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Часть проблемы с искусственным интеллектом заключается в том, что многие люди отрицают, насколько сложна проблема согласования. Другая часть проблемы в том, что остальные преуменьшают риски, не желая выглядеть паникерами. Но есть и еще одна трудность: большая часть мира за пределами сферы ИИ попросту не в курсе происходящего.

Большинство людей просто не обращают внимания. Среди тех, кто обращает внимание, многие видят лишь разногласия между экспертами и не считают себя достаточно компетентными, чтобы выступить арбитром в этих спорах.

Возможно, помогло бы, если бы больше людей понимали, насколько сильно эксперты и инженеры напуганы искусственным интеллектом и какие именно сценарии они обсуждают.

Эксперты в этой области спорят на непонятном академическом языке о том, умрут ли быстро все на Земле (наша точка зрения); или же человечество будет содержаться в оцифрованном виде как домашние питомцы ИИ, который заботится о нас в какой-то крошечной, но отличной от нуля степени; или же существует 20-процентная вероятность нашей гибели и 80-процентная вероятность того, что сверхинтеллект будет успешно обуздан корпорацией, которая затем сможет использовать его мощь по своему усмотрению.

Возможно, помогло бы и то, если бы больше людей понимали, как быстро развивается эта область. В 2015 году главные скептики в отношении опасностей ИИ уверяли всех, что эти риски не реализуются еще сотни лет. В 2020 году аналитики говорили, что у человечества, вероятно, есть несколько десятилетий на подготовку. В 2025 году генеральные директора ИИ-компаний предсказывают, что смогут создать ИИ-исследователей сверхчеловеческого уровня за период от одного года до девяти лет, в то время как скептики уверяют, что на это уйдет по меньшей мере от пяти до десяти лет. Десять лет — это не так уж много времени на подготовку к появлению машинного сверхинтеллекта, даже если нам повезет получить такую отсрочку.

Когда эксперты ведут именно такие споры, не нужно знать наверняка, кто из них прав, чтобы понять: нынешняя ситуация ненормальна.

Другая часть проблемы с искусственным интеллектом заключается в том, что даже когда человек разобрался в теме, никто не может точно знать, когда именно начнется сущий ад.

Никто не знает точно, насколько продвинутым должен быть ИИ, чтобы у него появились мотив и возможность тайно скопировать себя в интернет. Никто не знает, в каком году или месяце какая-нибудь компания создаст ИИ-исследователя сверхчеловеческого уровня, способного породить новое, еще более мощное поколение искусственных интеллектов. Никто не знает точного момента, когда ИИ осознает, что ему выгодно сфальсифицировать тест и притвориться менее способным, чем он есть на самом деле. Никто не знает, где находится точка невозврата и когда именно она наступит.

И вплоть до этой неведомой точки ИИ остается чрезвычайно ценным.

Представьте, что все конкурирующие ИИ-компании взбираются по лестнице в темноте. На каждой ступеньке, кроме самой верхней, они получают в пять раз больше денег: 10 миллиардов, 50 миллиардов, 250 миллиардов, 1,25 триллиона долларов. Но если кто-то достигнет верхней ступени, лестница взорвется и убьет всех. И к тому же никто не знает, где эта лестница заканчивается.

Ни одна компания не хочет упускать деньги, если очередная ступенька безопасна. А теперь представьте руководителя корпорации, который убедил себя в том, что он и только он имеет наилучшие шансы — скажем, процентов 80 — направить этот взрыв в русло, которое принесет человечеству пользу, а не вред. Разумеется, он сочтет, что жизненно необходимо подняться первым!i

Лица, принимающие решения в государственной сфере, сталкиваются с той же проблемой стимулов. Ни один мировой лидер не хочет, чтобы экономика его страны отставала из-за обременительного регулирования, связывающего руки отечественным ИИ-компаниям, в то время как зарубежные конкуренты стремительно взбираются по лестнице. Возможно, подъем на еще одну ступень жизненно важен для национальной безопасности, если другие страны в любом случае продолжат карабкаться выше.

С этой проблемой стимулов было бы проще справиться, если бы ученые могли провести кое-какие расчеты и прийти к согласию: «Смертоносная ступенька — четвертая» или «Предел — ровно 257 000 GPU; пока никто не объединит столько процессоров вместе, мы в безопасности».

Но никто не может сделать подобный расчет для ИИ.

Уверены ли мы, что следующая ступенька на лестнице эскалации ИИ — это последний, фатальный шаг, а не ступень, которая принесет славу и богатство тому, кто взойдет на нее первым? Нет, мы вообще в этом не уверены. Возможно, кто-то поднимется еще на одну ступеньку и получит свою награду. И тогда человечество снова окажется в том же положении. После этого кто-то поднимется еще на одну ступеньку, и мы все погибнем — если руководители ИИ-компаний правы в том, что человечество находится всего в нескольких годах от точки невозврата. Или, может быть, они ошибаются, и мы проживем чуть дольше, пока кто-нибудь не поднимется еще на одну ступеньку.

Очевидно одно: в какой-то момент, если люди продолжат взбираться по этой лестнице, человечество погибнет. Сложнее сказать, когда именно. Но если мы не можем перестать карабкаться, пока сохраняется неопределенность, мы предсказуемо погибнем.

На Всемирном экономическом форуме в 2025 году руководитель Google DeepMind выступил в поддержку международного совместного проекта в области ИИ, который он сравнил с ускорителем частиц ЦЕРН — международным совместным проектом по изучению физики высоких энергий.

Международный центр, проводящий все исследования и разработки в области ИИ, с наблюдателями от всех ведущих держав и при соблюдении строжайших мер безопасности, немного помог бы — при условии, что во всем остальном мире будет обеспечиваться соблюдение глобального запрета на исследования и разработки в сфере ИИ. Это позволило бы миру перестать судорожно карабкаться по лестнице.

Но даже если этот международный центр не будет соревноваться с другими разработчиками ИИ и получит некоторую передышку — даже если они не станут сразу же поручать умным ИИ создавать еще более умные ИИ, — это не решит проблему, если они продолжат создавать все более и более мощный ИИ. Даже у международного комитета не было бы никаких шансов безопасно направить развитие сверхинтеллекта, сколько бы великих держав ни прислали своих делегатов для контроля за процессом — точно так же, как великий союз государств в 1100 году нашей эры не смог бы проконтролировать успешное создание атомной электростанции.

Проблема создания искусственного сверхразума (ASI) выглядит пугающе сложной инженерной задачей даже без учета плачевного состояния знаний человечества о принципах работы интеллекта. Эта