Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Если вы живете в демократической стране, вы можете написать своим избранным представителям и сообщить, что вас эта проблема тревожит. По ссылке ниже вы найдете ресурсы, которые помогут вам это сделать.

IfAnyoneBuildsIt.com/act

Вы можете голосовать. Если в вашей стране первичные и всеобщие выборы разделены (как в США), ваш голос важнее всего на первом этапе. Если ваш представитель выступает за то, чтобы мчаться в области искусственного интеллекта вперед, вы можете отдать свои деньги и голос его оппонентам.

Вы можете выходить на марши протеста. Мы полагаем, что они принесут гораздо больше пользы, если будут масштабными и законными[65]. По ссылке ниже вы можете записаться на акции протеста, которые пройдут только в том случае, если наберется критическая масса участников.

IfAnyoneBuildsIt.com/march

Вы можете говорить об этом. На акциях протеста, в ответ на звонок социолога или просто в кругу друзей и семьи.

Если множество людей во многих странах в один голос заявят, что не собираются умирать из-за искусственного сверхинтеллекта и выступают за создание международного договора, этого все равно будет недостаточно, чтобы предотвратить катастрофу. Для предотвращения ядерной войны потребовалось нечто большее, чем просто множество людей, выступающих против. Но открытый протест граждан помогает. Президентам и дипломатам проще действовать, когда их избиратели демонстрируют им свою поддержку.

А если вы уже сделали все, что в ваших силах? Тогда живите спокойно.

Мы не первые, кто живет под угрозой уничтожения. Прошлые поколения знали об этом больше нашего. Клайв Стейплз Льюис писал:

На вопрос “Как жить в атомный век?” я готов ответить: “Так же, как вы жили бы в шестнадцатом столетии, когда чума посещала Лондон почти ежегодно, или в эпоху викингов, когда грабители из Скандинавии могли высадиться и перерезать вам горло в любую ночь, или, наконец, так, как вы уже живете в век рака, век паралича, век катастроф на дорогах и воздушных налетов”.

<..>

Если атомная бомба и уничтожит нас, пусть она застанет нас за достойными и человечными делами: молитвой, трудом, учением, чтением, слушанием музыки, купанием детей, игрой в теннис, беседой с друзьями за кружкой пива и партией в дартс, а не в виде кучки перепуганных овец, помышляющих лишь о бомбах[66].

Льюис не говорил читателям: не нужно бояться, потому что ядерного оружия не существует и смерть от него не грозит. Он не предлагал искажать свои убеждения в угоду страху. Он просто говорил: да, это ужасно. Но если вы будете трястись от страха, это не поможет. Нужно еще и жить своей жизнью.

Если бы каждый сделал все, что в его силах, то голосований, протестов и открытых высказываний было бы достаточно. Если бы однажды все проснулись, разделяя наши убеждения хотя бы на четверть – и каждый знал бы, что остальные тоже их разделяют, – то люди вышли бы на улицы и закрыли дата-центры, а солдаты и полицейские шли бы плечом к плечу с обычными матерями и отцами. Если бы люди разделяли наши убеждения хотя бы на одну шестнадцатую, то не прошло бы и месяца, как были бы заключены международные договоры о мониторинге и контроле над передовыми компьютерными чипами.

Сможет ли Земля выжить, если свой вклад внесут не все? Возможно, да. А возможно, нет.

Нам часто приходилось слышать, что разогнавшийся искусственный интеллект остановить уже невозможно, человечество никогда не образумится. Может быть, и так. И все же поразительно много избранных представителей власти признавались нам: они видят угрозу, но не решаются говорить о ней из страха перед последствиями. Разве это не величайшая нелепость, если на самом деле никто из людей, принимающих решения, не хочет умереть из-за искусственного интеллекта, но каждый из них считает, что одинок в своих опасениях?

Пока есть жизнь, есть и надежда.

Заключительные слова

Время от времени нас спрашивают, чувствуем ли мы удовлетворение от того, что наши прежние прогнозы сбываются, а нам и этой проблеме уделяют все больше внимания.

И поэтому в заключение мы произносим такую молитву:

Пусть окажемся мы неправы, пусть будем осмеяны за то, насколько чудовищно ошибались, пусть канем мы в небытие и будем забыты, пусть станем примером, как не следует мыслить, – и пусть живет человечество долго и счастливо.

Но мы не станем возлагать нашу последнюю веру и надежду на бездействие. Поэтому наша истинная заключительная молитва звучит так:

Человечество, окажись на высоте и победи.

Благодарности

Спасибо вам, Аэлла и Гретта, вы были повитухами книги. Спасибо вам, Джо, Митч, Роб, Герри, Алекс, Дункан, Мейло, Харлан и вся остальная команда из MIRI, за усердную работу. Благодарим Джона Беннетта, Кайлу Гэмин, Дэйва Кастена, Джейсона Грин-Лоу, Юсуфа, Томаса и других за вычитку и дельные советы. Спасибо вам, Ронни, Джеффри, Оливер, Келси, Рейф и другие, за проверку фактов и иную помощь. Спасибо вам, Вэнивер, Алекс Алтайр, Роберт Херр, Скайлер, Бен, Лора и многие другие, за быстрые рецензии и полезные замечания. Благодарим Александра за долгие дни и бессонные ночи редактуры, а также множество других людей.

Мы сделали это всем миром.

Комментарии

Введение

Сложные прогнозы и простые прогнозы

1 Wiesel E. Night. Farrar, Straus and Giroux, 2006 (1958).

Глава 1

Особая сила человечества

1 На самом деле нет данных, доказывающих, что оспа существует дольше, чем несколько тысяч лет. В силу художественной вольности бог-оспа утверждает, что древние люди умирали от вирусов, а современные люди имеют возможность устранять ужасные вирусы, если захотят.

2 Чтобы получить наглядное представление о том, как это может выглядеть с точки зрения ИИ, мы рекомендуем посмотреть видео Stainless Адама Мадьяра – замедленный ролик со станции метро “Александерплац” на линии U2 в Берлине. Его можно найти по адресу vimeo.com/83663312. Там использовано замедление примерно в пятьдесят раз. ИИ, работающий в десять тысяч раз быстрее человека, видел бы людей двигающимися в двести раз медленнее, чем на видео. Маленькая девочка, бросающаяся через платформу, выглядела бы практически неподвижной.

3 Wittman A. B., Wall L. L. The Evolutionary Origins of Obstructed Labor: Bipedalism, Encephalization, and the Human Obstetric Dilemma. Obstetrical & Gynecological Survey, 62, no. 11 (2007): 739–48.

4 Altman S. Reflections. January 5, 2025, blog.samaltman.com.

5 Amodei D. Machines of Loving Grace. October 1, 2024, darioamodei.com.