Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

усилением человека – сделать людей умнее. Достаточно умными, чтобы вытащить нас из этой передряги. Мы верим, что проблему согласования искусственного сверхинтеллекта возможно решить в принципе, но делать это должны люди настолько сверхчеловечески умные, чтобы они никогда не впали в оптимистичный самообман, поверив в план, обреченный на провал. В онлайн-материалах мы подробнее рассказываем, почему считаем это одним из лучших оставшихся вариантов (и описываем, что можно сделать тем людям, кто хотел бы над этим работать).

Впрочем, вы не обязаны соглашаться с нами относительно последующих шагов. Спасать Землю в условиях полного единства не получится: придется координировать усилия слишком многих стран и слишком многих фракций, расколотых изнутри. Позволить действовать только тем, кто совпадает во взглядах абсолютно во всем, – это то же самое, что запретить человечеству действовать вовсе.

Мы считаем, что коалиция по этому вопросу должна быть максимально широкой. Мы убеждены, что эту цель не следует увязывать ни с какими другими. Добавление любого иного требования повышает риск вымирания человечества, если расширенный пакет предложений провалится.

Одни люди выступают против того, чтобы искусственный интеллект отбирал рабочие места. Другие считают, что рост технологической производительности сделает нас всех богаче.

Одни люди против создания роботов-убийц. Другие против того, чтобы держать живых солдат на передовой, когда их место могли бы занять роботы[62].

Но почти все мы сходимся в одном: человечество не должно вымереть, уступив место чему-то безрадостному.

Если мы все сможем объединиться ради предотвращения одного события – независимо от убеждений и позиций по другим вопросам, – то у человечества, возможно, еще будет шанс.

IfAnyoneBuildsIt.com/13

Глава 14

Пока есть жизнь, есть и надежда

26 января 1972 года в самолете компании JAT, выполнявшем рейс 367, взорвалась бомба, пронесенная террористами. В фюзеляже, упавшем на землю с высоты десяти километров, оказалась стюардесса Весна Вулович. Если бы нас попросили предсказать исход падения, мы бы с большой уверенностью заявили, что Весна Вулович погибнет. Мы бы сказали, что это простое предсказание.

Весна Вулович выжила.

“Кто находится между живыми, тому есть еще надежда”[63], – сказал автор Книги Екклесиаста где-то между 450 и 180 годами до нашей эры.

В сущности, главный тезис этой книги несложен: создание машин, которые мыслят быстрее и лучше людей, ударит по миру сильнее, чем что-либо прежде. Создание сверхинтеллектуальных машин относится к числу проектов, где легко сделать все неправильно. Похоже, что с нынешним подходом корпораций и законодателей к этому вопросу ничего хорошего не выйдет. Человечеству нужно отступить. Мы не можем рассчитать, когда именно наступит катастрофа, но это не означает, что она далеко.

Оставшаяся часть книги (и онлайн-дополнения) предназначена лишь затем, чтобы показать: эта простая мысль выдерживает проверку при ближайшем рассмотрении.

Если кто-то его создаст – все погибнут.

Неважно, создадут ли его благонамеренные или эгоистичные корпорации. Неважно, сделают ли это на Востоке или на Западе. Неважно, построят ли его безрассудные оптимисты или специалисты, утверждающие, что относятся к проблеме с должной серьезностью. Никто не обладает достаточным уровнем знаний и умений, чтобы сделать сверхинтеллект, выполняющий приказы своих создателей.

Нам представляется, что это тот тип катастрофы, который поддается прогнозированию. Мы обосновали свою позицию как могли. Мы не прятались за словами “может быть”, “риск” и “возможно”, а постарались четко объяснить, почему прогноз катастрофы обоснованный.

Но чтобы страны все равно продолжали нестись напролом, недостаточно просто доказать, что мы ошибаемся во всех наших конкретных рассуждениях о неизбежности катастрофы. Если вы запускаете ракету со всем человечеством на борту, нужно, чтобы вы могли гарантировать отсутствие катастрофы. Таков универсальный стандарт во всех прочих технологических областях, от которых зависят человеческие жизни. Недостаточно, чтобы мы просто оказались неправы, – мы должны ошибаться настолько, чтобы был гарантирован благополучный исход.

Человечеству еще не поздно остановиться. Это не стоило бы даже одного процента той цены, которую союзники заплатили за победу во Второй мировой войне. Человечеству нужно только осознать проблему и хотеть жить.

Вторая мировая война завершилась сбрасыванием двух атомных бомб на два японских города. Затем атомное оружие создал Советский Союз. Потом обе стороны разработали водородные бомбы, в тысячу раз мощнее.

Многие полагали, что Америка, Европа и Азия начнут полномасштабную атомную войну, которая уничтожит бóльшую часть человеческой цивилизации.

Для подобных опасений имелись веские причины. Это была не паника. И не упоение циничным пессимизмом. И такие голоса принадлежали вовсе не тем людям, что увлекались предсказаниями перенаселения и неминуемого голода.

К 1950-м годам человечество уже получило множество подтверждений тому, как трудно предотвращать большие войны. После Первой мировой многие страны и очень серьезные люди говорили, что такое не должно повториться. Да и до этого на протяжении столетий самые разные люди твердили, что государства не должны вести столько войн. Провидцы, священники и интеллектуалы своего времени обращались к сильным мира сего, рассказывая о цене войн: смертях, боли, искалеченных ветеранах, рыдающих семьях. Они взывали: “Пожалуйста, прекратите!”

Но войны не прекратились.

В 1952 году, когда взорвалась первая водородная бомба, не нужно было слыть пессимистом, чтобы исходя из логики истории ожидать ядерной войны.

И все же ядерной войны не случилось.

Хотя мир не раз стоял на краю. Во время Карибского кризиса американский корабль сбросил сигнальные глубинные бомбы, пытаясь заставить советскую подводную лодку обнаружить себя и всплыть. Капитан подлодки Б-59 решил, что началась война. Субмарина несла торпеду с ядерной боеголовкой, запуск которой требовал единогласного решения трех офицеров. Один из трех – Василий Архипов – выступил против. Ни один из опасных эпизодов не перерос в полномасштабную ядерную войну.

Так или иначе, люди, считавшие, что ядерная война в ближайшие десятилетия уничтожит все, ошибались.

Они не ошибались насчет опасностей. Не ошибались в том, что водородная бомба способна стереть с лица земли и сжечь целый город, или в том, как выглядит смерть от лучевой болезни, или в том, что межконтинентальная ракета с ядерными боеголовками преодолеет любую существующую защиту.

Но они ошибались насчет способности человечества принять решение не умирать.

Мы не знаем наверняка, почему вечно воюющие народы Земли стали чуточку мудрее. Но полагаем, причина вот в чем: впервые в истории человечества каждый, кто обладал властью развязать войну, осознавал, что пострадает лично он. В прежних войнах люди умирали где-то далеко, а эта война принесла бы гибель прямо к их собственному порогу. Более сильная держава тоже оказалась бы в проигрыше.

И все же избегать ядерной войны было непросто. Десятилетие за десятилетием переговорщики неустанно трудились, чтобы не допустить промаха, способного