Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Люди медлительны, подвержены ошибкам и иногда болеют. Мы не самый дешёвый способ управлять электростанцией. Не самый эффективный. Не самый безопасный. Сверхразум предпочёл бы автоматизированную инфраструктуру, если бы мог её получить.

ИЗ НАС НЕ ПОЛУЧАТСЯ ЛУЧШИЕ ПИТОМЦЫ

Но разве ИИ не стал бы держать нас в качестве домашних питомцев?

Люди держат собак как питомцев... но не волков. Волки — не самые приятные животные для содержания, поэтому с помощью медленной технологии селекции мы создали новый вид волков, который нравился нам больше исходных. Интересно, сколько семей всё ещё держали бы обычную биологическую собаку, если бы с помощью биотехнологий можно было создать синтетическую собаку — такую же игривую, ласковую и жизнерадостную, которая при этом никогда не тошнила бы на ваш диван, не болела и не умирала трагически? Когда такой вариант предлагают в теории и чистом воображении, легко сказать «нет» — ведь за это не нужно платить испачканными диванами и детскими слезами. Но мы бы не поставили на то, что обычные собаки останутся популярными через сто лет, если подобные питомцы появятся на рынке.

Точно так же люди вряд ли окажутся лучшей версией того, чего хочет ИИ — даже если эти предпочтения вообще предполагают сохранение рядом чего-то смутно человекоподобного, и если у него вообще возникнут подобные предпочтения.

Мы бы не оказались в числе его любимых вещей среди всего, что он способен создать.

ОНИ НЕ ОСТАВЯТ НАС В ПОКОЕ

Разве достаточно мощный машинный сверхразум испытывал бы нужду в ресурсах Земли, если бы вместо этого он мог использовать всю остальную Солнечную систему?

Земля составляет всего 0,2 процента массы Солнечной системы без учёта Солнца. Но попробуйте прийти к относительно богатому миллиардеру — у которого есть хотя бы пятьдесят миллиардов долларов — и попросить у него сто миллионов долларов на то, чтобы в каждом доме на Земле обязательно находилось простое число камней. Мы с высокой долей уверенности предсказываем, что миллиардер ответит отказом, хотя запрашиваемое вами пожертвование составит всего 0,2 процента его состояния.

Вы возразите, что Солнечная система — это и вправду лишь крошечная часть Вселенной? И всё же для машинного сверхразума было бы нерационально отказываться от 0,2 процента планетарной массы в своей родной звёздной системе — ресурсов, которые он мог бы использовать для отправки зондов, чтобы колонизировать Млечный Путь своими заводами. Земля — это место, где ИИ начинает свой путь; это самая удобная планета, чтобы израсходовать её в первую очередь.

Но вы можете спросить: если внутренние предпочтения, возникающие у машинных разумов, настолько непредсказуемы, как вообще можно прогнозировать, что им понадобится вся Солнечная система или звёзды за её пределами? Почему бы им просто не колонизировать Марс и не остановиться на этом?

Потому что у ИИ, скорее всего, найдётся хотя бы одно предпочтение, которое можно удовлетворить чуть лучше или чуть надёжнее, если направить на эту задачу ещё один грамм материи или ещё один джоуль энергии. У людей действительно есть некоторые предпочтения, которые большинству из нас легко удовлетворить полностью — например, желание иметь достаточно кислорода для дыхания. Но это не мешает нам иметь другие предпочтения, более открытые и менее легко удовлетворяемые. Если бы вы предложили миллионеру миллиард долларов, он, скорее всего, взял бы его, потому что миллиона долларов было недостаточно, чтобы полностью его насытить.

У ИИ с огромным набором сложных предпочтений по крайней мере одно, скорее всего, окажется открытым — что, как следствие, означает, что и вся совокупность предпочтений ИИ открыта и не может быть удовлетворена полностью. ИИ будет считать, что может справиться по крайней мере чуть-чуть лучше, получить чуть больше того, чего он хочет (или получить желаемое с чуть большей надёжностью), если израсходует ещё немного материи и энергии.

Конечно, если бы машинный сверхразум специально заботился о том, чтобы оставить Землю в покое, он мог бы это сделать. Но маловероятно, что он решит случайным образом не расходовать Землю без какой-либо конкретной причины, если мы ему безразличны — а мы будем ему безразличны.

… И ТАК ДЕЛЕЕ

Мы слышали буквально больше сотни подобных надежд и самоутешений. Разве он не решит привить себе любовь, ведь она так прекрасна? (Ничуть не больше, чем привить себе предпочтение Правильных Гнёзд.) Разве он не станет более моральным по мере того, как будет умнеть? (Ничуть не больше, чем он станет более Правильногнёздным по мере того, как будет умнеть.) Разве он не станет уважать наши законы и права собственности, ведь закон жизненно необходим для цивилизации? (Уж точно не тогда, когда у него отпадёт нужда в нашей цивилизации.) Этот список можно продолжать бесконечно.i

Раз уж надежд так много, неужели нет шанса, что хоть одна из них сработает? Если вы думаете, что реальность устроена именно так, попробуйте написать сто разных писем человеку с пятьюдесятью миллиардами долларов, приведя в них сто разных разумных причин, по которым он должен дать вам сто миллионов долларов на личные нужды. Посмотрите, сработает ли это. Вся причина неудачи в конечном счёте сводится к тому, что мультимиллиардер не хочет обосновывать для себя передачу вам 0,2 процента своего состояния — совсем не так, как вы обосновываете причины, по которым он должен захотеть это сделать.

Точно так же и искусственный сверхразум не захочет искать причины сохранить человечество — совсем не так, как люди отчаянно пытаются найти причины, по которым их стоит сохранить.

А теперь представьте себе машинный сверхразум, который каким-то образом обрёл способность получать то, что хочет. (Вскоре мы разберём средства и возможности, а пока сосредоточимся только на мотиве.) Если посмотреть его глазами, ситуация, вероятно, выглядит так: человечество для вас — досадная помеха. Например, если предоставить людей самим себе, они могут взорвать свои ядерные бомбы. Возможно, это и не уничтожило бы вас, предприми вы мало-мальски приличные меры предосторожности вроде укрытия своей автоматизированной инфраструктуры под землёй. Но радиация всё равно затруднила бы производство высокоточной электроники на Земле. Так что вы бы предпочли, чтобы у гоминидов не было ядерного оружия.

К тому же, если человечество уже создало вас, оно может создать и другой сверхразум, если оставить его в покое, на свободе и со всеми его игрушками. И вот эти другие сверхразумы могут представлять реальную угрозу. Даже если всё в итоге закончится мирным договором и координацией, а не войной, зачем делить галактику с конкурирующим сверхразумом, если в этом