Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

26 ЯНВАРЯ 1972 ГОДА самолет рейса JAT 367 был уничтожен заложенной террористами бомбой в портфеле. Бортпроводница Весна Вулович оказалась зажата внутри фюзеляжа, который рухнул на землю с высоты 6,3 мили (10,1 километра).

Если бы нас как-то спросили об этом, мы бы с полной уверенностью предсказали, что Весна Вулович погибнет. Мы бы сказали, что тут и думать нечего.

Весна Вулович выжила. После этого она хромала.

«Кто находится между живыми, тому есть еще надежда», — сказал автор Книги Екклесиаста где-то между 450 и 180 годами до нашей эры.

СУТЬ АРГУМЕНТА ЭТОЙ КНИГИ ПРОСТА: создание машин, которые мыслят быстрее и лучше человечества, нанесет миру удар такой силы, какого он еще никогда не испытывал. Создание сверхинтеллектуальных машин кажется проектом, который крайне трудно реализовать правильно. Если посмотреть на то, как к этому подходят корпорации и законодатели, то вряд ли все закончится хорошо. Человечеству нужно отступить. Мы не можем просчитать, когда именно разразится катастрофа, но это не значит, что она далеко.

Вся остальная часть книги (и онлайн-приложения) написаны лишь для того, чтобы показать: эта простая мысль выдерживает самую пристальную проверку.

Если кто-то его создаст, все умрут.

Неважно, создадут ли его благонамеренные корпорации или корыстные. Неважно, создадут ли его исследователи на Востоке или исследователи на Западе. Неважно, создадут ли его безрассудные оптимисты или те, кто заявляет, что уважает эту проблему. Ни у кого нет знаний или навыков, чтобы заставить сверхинтеллект выполнять их волю.

В конечном счете нам кажется, что это как раз та катастрофа, которую можно предсказать. Мы постарались доказать это как могли. Мы не прятались за словами «может быть», «риск» и «вероятно». Мы попытались объяснить, почему предсказание катастрофы — это вполне очевидный прогноз.

Но для того чтобы страны всё равно рвались вперёд, должно быть недостаточно просто доказать нашу неправоту во всех конкретных аргументах в пользу катастрофы. Если вы запускаете ракету, посадив на борт всё человечество, вам хотелось бы, чтобы отсутствие катастрофы было предсказуемым. Таков универсальный стандарт в любой другой области инженерии, от которой зависят человеческие жизни. Недостаточно, чтобы мы ошибались; мы должны ошибаться настолько сильно, чтобы отсутствие катастрофы можно было предсказать с абсолютной уверенностью.

Человечеству еще не поздно вовремя остановиться. Это не стоило бы и одного процента от тех затрат, которые понесли союзные державы в борьбе и победе во Второй мировой войне. Человечеству нужны лишь осознание проблемы и воля к жизни.

Вторая мировая война закончилась сбросом двух атомных бомб деления на два японских города. Затем бомбы деления появились у Советского Союза. Затем обе стороны получили термоядерные бомбы, которые были в тысячу раз мощнее.

Многие считали вполне вероятным, что между Америкой, Европой и Азией разразится полномасштабная ядерная война, которая оставит большую часть человеческой цивилизации в руинах.

Были веские причины подозревать, что такое может случиться. Это не было паникой. Это не были люди, упивающиеся циничным пессимизмом. И это не были те же самые люди, которые предавались прогнозам о скором перенаселении и голоде.

К 1950-м годам люди повидали немало доказательств того, как трудно избегать больших войн. После Первой мировой войны многие страны и Очень Серьезные Люди заявляли, что Земле крайне необходимо больше никогда этого не повторять. И за века до этого самые разные люди твердили, что странам не следует вести так много войн. Визионеры, священники и публичные интеллектуалы представали перед правителями своего времени, рассказывая неоспоримые истории о цене войн в человеческих жизнях, о смерти, о боли, об искалеченных ветеранах и плачущих семьях. Они умоляли: «Пожалуйста, остановитесь».

Но войны не прекращались.

Если бы вы жили в 1952 году, когда была взорвана первая термоядерная бомба, вам не нужно было быть пессимистом, чтобы, оглядываясь на прошлую историю, предвидеть ядерную войну.

И всё же — ядерной войны не случилось.

Мир не раз оказывался на волоске. В самый разгар Карибского кризиса американский корабль сбросил глубинные бомбы, пытаясь заставить советскую подводную лодку всплыть и идентифицировать себя. На подводной лодке Б-59 решили, что началась всеобщая война. Б-59 была вооружена ядерной торпедой, для запуска которой требовалось согласие всех трех офицеров. Из этих троих Василий Архипов был единственным, кто выступил против. Но ни одна из этих критических ситуаций так и не переросла в полномасштабную ядерную войну.

Так или иначе, люди, считавшие, что ядерная война уничтожит всё в ближайшие десятилетия, в итоге оказались неправы.

Они не ошибались насчет опасностей. Они не ошибались в том, что водородная бомба сотрет с лица земли и сожжет город, или в том, каково это — умирать от лучевой болезни, или в том, как межконтинентальная ракета с ядерными боеголовками преодолеет лучшую из существующих систем обороны.

Скорее, они ошибались насчет способности человечества принять решение не умирать.

Мы не знаем наверняка, почему столь склонные к войнам народы Земли стали хотя бы немного мудрее. Но мы предполагаем, что впервые в истории человечества каждый, кто обладал властью начать войну, ожидал, что в случае её начала ему лично не поздоровится. Прежние войны могли нести погибель солдатам где-то вдали, но эта принесла бы крах прямо к их собственному порогу. Сильнейшая держава тоже проиграла бы.

И всё же избежать ядерной войны было непросто. Десятилетие за десятилетием переговорщики трудились не покладая рук, чтобы не допустить ни единого неверного шага, способного привести к фатальному ядерному столкновению. Страны заключали соглашения по контролю над вооружениями и создавали системы контроля. Между руководством США и СССР существовала прямая линия связи на случай, если кому-то понадобится очень быстро разрешить какой-то вопрос.

Человечество избежало ядерной войны, потому что люди, понимавшие, что мир движется к гибели, упорно трудились над тем, чтобы сменить курс. Они не считали, что пытаются предотвратить маловероятную случайность. Они работали над тем, чтобы отменить уже предначертанную судьбу.

И цивилизация выжила.

Так как же нам переписать свою судьбу?

Мы обсудили то, что должно быть сделано ради выживания человечества. Теперь давайте рассмотрим, что можно сделать и кому именно.

Если вы работаете в правительстве: Мы полагаем, что подготовка к заключению международного договора начинается с того, что страны или их лидеры сигнализируют о готовности к нему. Ведущим державам следует послать сигнал: «Мы бы предпочли не погибать от машинного сверхинтеллекта. Мы бы хотели, чтобы появился международный договор и коалиция, направленные на то, чтобы его не создавать».

Цель не в том,