Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Было бы полезно, если бы больше людей осознали, насколько сильно напуганы специалисты в области искусственного интеллекта и какие именно сценарии они обсуждают.

Используя малопонятные научные термины, эксперты спорят, погибнут ли все на Земле быстро (наша точка зрения), или же нас оцифруют и станут держать в качестве питомцев для ИИ-моделей, которые будут проявлять о нас пусть и мизерную, но ненулевую заботу. Либо расклад таков: 20 %-ная вероятность нашей гибели против 80 %-ной вероятности, что какая-нибудь корпорация успешно обуздает сверхинтеллект и использует свою силу, как сочтет нужным.

Еще было бы полезно, если бы больше людей понимали, насколько стремительно развивается эта область. В 2015 году главные скептики уверяли всех, что риски, связанные с опасностями ИИ, не возникнут еще сотни лет20. В 2020-м аналитики говорили, что у человечества, вероятно, есть в запасе несколько десятилетий на подготовку21. В 2025-м генеральные директора ИИ-компаний прогнозируют, что сумеют создать ИИ-исследователей сверхчеловеческого уровня за срок от одного года до девяти лет22, тогда как скептики уверяют, что это займет, вероятно, не менее пяти-десяти лет23. Но десять лет – это не так уж много времени, чтобы подготовиться к рассвету машинного сверхинтеллекта, если у нас вообще есть эти десять лет, как обещает оптимистичный сценарий.

Когда специалисты ведут подобные споры, вам не обязательно знать наверняка, кто из них прав, чтобы понять: текущая ситуация ненормальна.

Еще один аспект проблемы с искусственным интеллектом заключается в том, что даже человек, в полной мере осознающий сложившуюся ситуацию, не может знать, когда именно разверзнется ад.

Никто не знает точно, насколько совершенной должна стать ИИ-модель, чтобы у нее появились мотивация и техническая возможность незаметно перенести свои копии в интернет. Никто не знает, в каком году какая-нибудь компания создаст искусственного исследователя со сверхчеловеческими возможностями, который породит новое, более мощное поколение ИИ-моделей. Никто не знает точного момента, когда ИИ-модель осознает, что ей выгодно искажать результаты тестов и притворяться менее умной, чем она есть[55]. Никто не знает, какой момент будет точкой невозврата и когда мы ее пройдем.

И вплоть до этой неизвестной точки искусственный интеллект приносит огромную выгоду.

Представьте, что все конкурирующие ИИ-компании карабкаются по лестнице в полной темноте. На каждой ступеньке, кроме самой верхней, они получают в пять раз больше денег, чем на предыдущей: 10 миллиардов долларов, 50 миллиардов, 250 миллиардов, 1,25 триллиона. Но как только кто-то добирается до самой верхней ступеньки, лестница взрывается и уничтожает всех. Причем никто не знает, где лестница заканчивается.

Ни одна компания не захочет упускать деньги, если ступенька безопасна. А теперь представьте какого-нибудь руководителя корпорации, который убедил себя, что у него (и только у него) есть наибольшие шансы – скажем, 80 % – направить этот взрыв на пользу, а не во вред человечеству. Тогда он решит, что его корпорация просто обязана подняться первой![56]

Лица, принимающие решения на государственном уровне, сталкиваются с той же проблемой стимулов. Ни один мировой лидер не желает, чтобы экономика его страны отстала из-за обременительного регулирования, связывающего отечественные ИИ-компании по рукам и ногам, в то время как иностранные конкуренты мчатся вверх по лестнице. Возможно, подъем на следующую ступеньку жизненно важен для национальной безопасности, если другие страны собираются взбираться выше несмотря ни на что.

Справиться с подобной проблемой стимулов было бы проще, если бы ученые могли провести расчеты и прийти к согласию: “Смертельная ступенька – четвертая” или “Пороговая величина – 257 000 графических процессоров, и пока никто столько не объединит, мы в безопасности”.

Но никто не способен провести такой расчет для искусственного интеллекта.

Уверены ли мы, что следующая ступенька на лестнице эскалации ИИ – это последний, фатальный этап, а не уровень, который принесет славу и богатство тому, кто первым его достигнет? Нет, мы вовсе не уверены. Возможно, кто-то поднимется еще на одну ступеньку и обретет награду. И тогда человечество снова окажется в том же самом положении. А после этого кто-то поднимется еще на одну ступеньку – и мы все умрем, если руководители ИИ-компаний правы, считая, что человечество находится всего в нескольких годах от критической точки24. Или они ошибаются, и тогда мы проживем чуть дольше – пока кто-нибудь не заберется на следующую ступеньку.

Очевидно одно: если люди продолжат карабкаться по этой лестнице, то в какой-то момент человечество погибнет. Вопрос, когда именно, сложнее. Но если мы не перестанем подниматься в условиях такой неопределенности, наша гибель предсказуема.

На Всемирном экономическом форуме в 2025 году глава Google DeepMind призвал к созданию международного совместного ИИ-проекта – по аналогии с международным совместным проектом по изучению физики высоких энергий на Большом адронном коллайдере ЦЕРН25.

Международный центр с жесткой системой безопасности, который вел бы все исследования и разработки по искусственному интеллекту при участии наблюдателей от всех крупных государств, мог бы немного улучшить ситуацию – но только если бы существовал глобальный контроль за соблюдением запрета на исследования и разработку ИИ-моделей во всех остальных местах. Мир перестал бы лихорадочно карабкаться по лестнице.

Но даже если этому международному центру не придется соревноваться с другими разработчиками, даже если он не начнет тут же приказывать умным моделям создавать еще более продвинутые версии и поэтому возникнет некоторая передышка, это не решит проблему, если сохранится курс на создание все более мощных ИИ-моделей. Даже у международного комитета не будет шансов сформировать послушный сверхинтеллект, сколько бы великих держав ни прислали своих делегатов для надзора за работой (как никакой масштабный альянс государств в 1100 году не смог бы проконтролировать успешное создание атомной электростанции).

Проблема искусственного сверхинтеллекта – пугающая по масштабу инженерная задача даже без учета плачевного состояния знаний человечества о принципах работы интеллекта. Эта проблема сложна, как автоматические межпланетные станции, ядерные реакторы и кибербезопасность, вместе взятые, а люди, которые сейчас несутся вперед, все еще находятся на стадии алхимии.

Неважно, кто стоит у руля, ибо эта задача человечеству пока не по зубам. Нам нужно отступить и найти какой-то другой способ реализовать свои мечты о будущем изобилия. Если кто-то создаст сверхинтеллект – все погибнут.

IfAnyoneBuildsIt.com/12

Глава 13

Остановите всё

Эта история, как и предыдущая, произошла на самом деле.

Давным-давно – этот период обычно датируют 1939–1945 годами – державы Оси отправляли армии по Европе, Северной