Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Возможно, наши друзья в сфере регулирования разбираются в политике лучше нас. Возможно, их работа немного повышает осведомленность об этих проблемах, чтобы в будущем можно было принять более смелые законы. Возможно, рекомендуемые ими требования к отчетности в конечном итоге будут приняты и утверждены, что со временем заставит какого-нибудь чиновника заметить тревожные сигналы в разработке ИИ и предупредить мировых лидеров. Но мы сами начинаем терять надежду на то, что вся эта стратегия сработает вовремя.

Кто-то скажет, что сегодня уж точно ничего нельзя сделать, и единственная надежда — дождаться какого-то крупного, очевидного события, которое переломит ход истории: мощного технологического прорыва или локальной катастрофы, вызванной ИИ, которая подтолкнет политиков к действию. Но сверхинтеллект не станет заблаговременно предупреждать нас и не даст времени на ответные меры; кроме того, исследования в области ИИ могут незаметно, в закрытой лаборатории, перейти тот рубеж, за которым системы ИИ начнут сами проводить исследования в области ИИ. Возможно, произойдет какое-то масштабное предзнаменование, на которое люди отреагируют разумно. Нечто подобное случилось в «эпоху ChatGPT», когда политики наконец смогли заявить о своей обеспокоенности, какими бы осторожными оговорками они ни обставляли свои слова, чтобы не показаться паникерами. Но нам также кажется вполне вероятным, что человечество не получит гораздо более явного предупреждения, чем то, что у него уже есть, — или же после появления очередного тревожного сигнала мало что изменится.

Есть выражение: «Если не сейчас, то когда?» Эти слова обретают зловещую силу, когда нет момента, который все единогласно признали бы подходящим временем, а есть лишь затяжное нежелание мириться с неудобствами, связанными с действиями в настоящий момент.

Остановка исследований в области ИИ — это, в конечном счете, лишь первый шаг на пути к выживанию. Мы не утверждаем, что ход часов, отсчитывающих время до появления сверхразума, можно остановить навсегда.v

Каков второй шаг? Как только исследования и разработки в сфере ИИ будут прекращены, как человечеству продолжить свой путь к прекрасному и изобильному будущему?

Если бы вы спросили нас, мы бы порекомендовали аугментацию человека — сделать людей умнее, достаточно умными, чтобы вытащить нас из этой передряги. Мы верим, что проблему согласования сверхинтеллекта (ASI) в принципе можно решить силами людей настолько нечечеловечески умных, что они никогда не поддадутся оптимистичной иллюзии, будто какой-то план сработает, если он обречен на провал. В онлайн-материалах мы более подробно объясняем, почему считаем этот вариант одним из лучших среди оставшихся, и приводим ресурсы для тех, кто заинтересован в работе над этим направлением.

Но в конечном счете вам необязательно соглашаться с нами касательно последующих шагов. Слишком многим странам необходимо координировать свои действия, слишком многие фракции расколоты изнутри, чтобы Землю можно было спасти в абсолютном единодушии. Если действовать сообща будет позволено только тем людям, которые согласны друг с другом абсолютно во всем, это будет равносильно тому, что человечеству вообще не позволят действовать.

Мы считаем, что коалиция по этому вопросу должна оставаться как можно более широкой. Мы не думаем, что этот вопрос следует увязывать с какой-либо другой позицией. Добавление любого другого требования ставит под угрозу выживание человечества, если этот более масштабный пакет предложений будет отвергнут.

Некоторые выступают против того, чтобы ИИ отбирал у людей рабочие места. Другие полагают, что рост технологической производительности сделает всех нас богаче.

Некоторые против создания роботов-убийц. Другие против того, чтобы отправлять живых людей на передовую, когда их место могут занять роботы.vi

Но почти все мы согласны, что человечество не должно вымереть и уступить место чему-то безрадостному.

Если мы все сможем объединиться, чтобы не допустить этого единственного исхода, независимо от других наших убеждений и позиций, тогда у человечества появится хоть какой-то шанс.

Примечания

i Существуют или находятся в разработке различные технологические решения для содействия, верификации и обеспечения соблюдения подобного соглашения. Более подробно мы останавливаемся на этом в онлайн-ресурсах.

ii Мы упоминали его, хотя и не называя напрямую, еще во второй главе, когда описывали архитектуру, лежащую в основе Llama 3.1 405B, большой языковой модели, которая была передовой в середине 2024 года.

iii Существуют разумные причины для противодействия дипфейкам, такие как предотвращение мошенничества или получение опыта в регулировании ИИ. Скорее всего, большинство — если не все — из тех, кто пытается запретить дипфейки, считают, что эти преимущества стоят сопутствующих издержек. Тем не менее, по нашему опыту, некоторые сторонники предпочитают неоднозначные формулировки, которые в будущем могли бы помочь ограничить ИИ более масштабно — например, режимы ответственности, которые впоследствии могут быть истолкованы как фактический запрет на распространение весов ИИ-моделей. Законодатели способны замечать, когда предлагаемые механизмы регулирования оказываются шире, чем того требует заявленная цель. Сами по себе дипфейки не могут служить достаточным стимулом для запрета открытых разработок в области ИИ.

iv Ранние проекты калифорнийского Закона о безопасных и надёжных инновациях в сфере передовых моделей искусственного интеллекта (SB-1047) содержали пункты, которые можно было истолковать как наделение генерального прокурора полномочиями инициировать гражданские иски в суде при подозрении на угрозу. В ходе работы над законопроектом эти положения были сужены; основные опасения не оправдывали в достаточной мере предоставление генеральному прокурору подобных полномочий. (Сокращенная версия законопроекта была принята, но губернатор Гэвин Ньюсом все равно наложил на нее вето.)

И даже если бы это было возможно, честно говоря, мы бы не пожелали нашему виду такого будущего. Мы верим, что жизнь, зародившаяся на Земле, должна в конечном итоге распространиться и наполнить звезды радостью и чудом. Нам не стоит так сильно спешить с этим настолько, чтобы совершить самоубийство, пытаясь осуществить это уже в следующем году, но и просто прозябать здесь, на Земле, в ожидании гибели нашей звезды мы тоже не должны.

Некоторые люди рассматривают противодействие роботам-убийцам как естественную часть общего «анти-ИИ пакета». Это отталкивает тех, кто видит в них пользу для безопасности или способ избежать человеческих жертв в войнах. Мы не излагали свою позицию по поводу того, следует ли использовать существующие узкие и ограниченные возможности ИИ для управления военными дронами, и вы не найдете ее в этой книге. Мы не требуем ничего, кроме того, чтобы возможности ИИ не наращивались дальше. Обо всем остальном нужно договариваться или спорить отдельно, а не объединять в один пакет с выживанием человечества.

ГЛАВА 14

ПОКА ЕСТЬ ЖИЗНЬ, ЕСТЬ НАДЕЖДА.