Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

И сверхинтеллект позволяет Земле нагреться.

Океаны выкипают, служа хладагентом для первоначального всплеска выработки энергии.

Все, кто ещё оставался в живых, теперь погибают. Земля разогревается до предельной температуры, которую способны выдержать термоядерные реакторы и заводы.

И даже если вообразить, что этого не произойдёт, все посевы будут растоптаны под массой расплодившихся солнечных батарей, призванных улавливать весь падающий на Землю солнечный свет.

А если вообразить, что сверхинтеллект поначалу оставит Землю в покое и первым делом использует другие ресурсы Солнечной системы, вроде Меркурия или Юпитера, то Солнце на небе погаснет, поскольку весь его свет будет перехватываться роями Дайсона, состоящими из солнечных панелей, вращающихся вокруг светила.

Так или иначе, мир погружается во тьму.

Мир не заканчивается, когда вы умираете. Но он просуществует ненамного дольше. Вещество Земли вместе со всеми остальными каменистыми планетами превратится в заводы, солнечные батареи, генераторы энергии, компьютеры — и зонды, отправленные к другим звёздам и галактикам.

Далёкие звёзды и планеты тоже будут переработаны под новые нужды. Когда-нибудь далёкие инопланетные формы жизни тоже погибнут, если их звезду поглотит то, что сожрало Землю, ещё до того, как они успеют построить собственную цивилизацию.

А что, если далёкие инопланетяне сумели бы решить свою версию проблемы согласования ИИ и создать сверхинтеллекты, разделяющие их ценности? Тогда со временем их зонды наткнутся на стену из галактик, уже захваченных тем, что сожрало Землю.

Эти более компетентные инопланетяне не будут уничтожены тем, что сожрало Землю. Для разума размером со звезду не составит труда найти оптимальные оборонительные и наступательные технологии, и обе стороны будут обладать ими еще задолго до встречи. Обе сверхинтеллектуальные стороны просчитают, что нет причин вести разорительную войну, если можно договориться о мире, и проанализируют разум друг друга, чтобы убедиться в этом.

Так что то, что сожрало Землю, выживет, и инопланетяне, укрывшиеся за собственным сверхинтеллектом, тоже выживут. Но миллионы и миллиарды звёзд окажутся недоступны для экспансии внеземной цивилизации — которая, возможно, извлекла бы из этих звёзд гораздо больше радости по сравнению с тем, как странно и печально использует их безразличное нечто, сожравшее Землю. Если эти инопланетяне были добрыми, то всё то добро, которое они могли бы сотворить в этих галактиках, будет утрачено.

Инопланетяне, возможно, будут знать или догадываться, что эта стена запустения была создана кем-то вроде нас. Они будут знать — допуская сценарии вроде земного как вполне вероятные, — что большинство людей не желали им зла; что большинство из нас вовсе не хотели растрачивать все эти звёзды впустую; что наши неверные решения погубили и нас самих, но приняты они были ненамеренно. Но тем не менее, они будут желать, чтобы Земли и человечества вообще никогда не существовало.

КОДА.

КАРТИНА, КОТОРУЮ МЫ ТОЛЬКО ЧТО НАРИСОВАЛИ, НЕРЕАЛЬНА. МЕТОДЫ, с помощью которых был создан Сейбл, меры безопасности, принятые Galvanic, возможности Сейбл и стратегии, которые он использовал, — все это лишь варианты того, как будущее могло бы вторить прошлому, но реальность не столь предсказуема. Наша история недостаточно странная, она недостаточно противоречит нашим интуитивным представлениям о законах, по которым строятся сказки об ИИ, чтобы быть хоть сколько-нибудь близкой к реальности.

И конечно, мы не знаем, когда начнется реальная версия этой истории. Мы рассказали историю, действие которой разворачивается в ближайшем будущем, поскольку реальные события тоже могут начаться совсем скоро, а еще потому, что проще рассказывать о мире, похожем на наш собственный. Или же, насколько нам известно, в запасе у нас может оставаться еще целое десятилетие.

Но это слабое утешение. Если вы играете в шахматы против Stockfish, не имеет значения, начнется ли партия в неопределенный момент. Неважно, что вы не можете в точности предсказать, какие ходы сделает Stockfish. Предсказать ваш проигрыш в конечном счете не составит труда.

Мы уверенно прогнозируем следующее: как только некоторые системы ИИ разовьются до сверхинтеллекта — а в разгар очередной великой гонки вооружений никто не станет медлить, подталкивая ИИ к этому рубежу, — у человечества не останется никаких шансов. Финал порой предсказать легче, чем ведущие к нему пути. Единственная часть нашей истории, которая представляет собой настоящее предсказание, — это ее концовка, да и то лишь в том случае, если этой истории вообще позволят начаться.

В Части III мы обсудим всю сложность инженерной задачи, стоящей перед разработчиками, которые пытаются вырастить ИИ, который не превратится в подобие Сейбла, и разберем их реакцию на этот вызов. Спойлер: перспективы весьма нерадужные. Поэтому мы также зададимся вопросом, что на самом деле потребуется, чтобы полностью исключить любые варианты, при которых история, подобная истории Сейбл, могла бы вообще начаться — не просто воображая, как одна ИИ-компания или одна архитектура ИИ могли бы временно избежать стартового выстрела, а спрашивая, как предотвратить это по всей Земле на долгие годы.

ЧАСТЬ III. ПРИНЯТЬ ВЫЗОВ.

ГЛАВА 10

ПРОКЛЯТАЯ ПРОБЛЕМА.

САМАЯ БОЛЬШАЯ И ГЛАВНАЯ СЛОЖНОСТЬ В ВЫРАВНИВАНИИ искусственного суперинтеллекта заключается в том, чтобы преодолеть пропасть между «до» и «после».

«До» — ИИ еще недостаточно силен, чтобы уничтожить всех нас, и недостаточно развит, чтобы сопротивляться нашим попыткам изменить его цели. «После» — искусственный суперинтеллект ни в коем случае не должен пытаться нас уничтожить, потому что у него это получится.

Инженеры должны выровнять ИИ «до», пока он мал и слаб, не способен сбежать в интернет, самосовершенствоваться и изобретать новые виды биотехнологий (или что бы он там ни делал). «После» все решения по выравниванию уже должны быть внедрены и работать, потому что если суперинтеллект попытается нас уничтожить, он преуспеет. Идеи и теории можно тестировать только до этой пропасти. Но они должны сработать после нее, причем с первой же попытки.

У человечества есть всего одна попытка пройти настоящее испытание. И если у кого-то есть хитрый план, как получить две попытки, у нас будет всего одна попытка на то, чтобы этот хитрый план сработал.

История человеческой изобретательности, преодолевающей малые и великие преграды, — это история ошибок и извлеченных из них уроков. До появления братьев Райт у многих изобретателей были свои теории полета, и они калечились, прыгая с холмов. Даже эти оптимистичные идиоты внесли свой вклад в копилку научных знаний, благодаря чему в следующий раз цивилизация могла