Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Мы ему не понадобимся

Но разве сверхинтеллекту не понадобятся люди, чтобы обеспечивать работу электростанций и производить нужные ему графические процессоры?

Мы согласны: пока люди управляют электростанциями, даже чуждый машинный интеллект не совершит самоубийство, уничтожив людей, ведь это приведет к остановке электростанций. Это была бы не слишком эффективная стратегия управления миром ради достижения странных целей сверхинтеллекта.

Но сверхинтеллект предпочтет мир, где электростанциями управляют машины, а не люди.

Почему? Во-первых, люди медленные, дорогие (сто ватт!) и ненадежные существа.

Во-вторых, позволять кучке приматов решать, выключать рубильник или нет, – не самая эффективная стратегия, если сверхинтеллект стремится направить мир к своим странным и чуждым целям. Пока в наших силах его отключить, мы ведь вполне можем именно так и поступить. И тут не нужно приписывать сверхинтеллекту нашу эволюционно сложившуюся любовь к свободе или наш эволюционно сложившийся страх смерти – просто мертвому сверхинтеллекту трудновато будет реализовывать другие свои предпочтения.

Люди медленно работают, склонны к ошибкам и иногда болеют. Мы не самый дешевый способ обеспечивать работу электростанций. И не самый эффективный. И не самый безопасный. Сверхинтеллект предпочтет автоматизированную инфраструктуру, как только у него появится такая возможность.

Мы не станем для него идеальными питомцами

Не оставит ли нас сверхинтеллект в качестве питомцев?

В качестве домашних животных мы держим собак, но не волков. Волки – не самые приятные животные для содержания дома, поэтому с помощью медленной технологии селекции мы создали новый вид волков, который понравился нам больше, чем исходные звери. Интересно, сколько семей держали бы настоящую, живую собаку, если бы с помощью биотехнологий создали ее синтетический аналог – собаку такую же энергичную, ласковую и жизнерадостную, но которая при этом не кошмарит диван, не болеет и не умирает? Легко говорить “нет”, пока это чисто теоретический вопрос, когда вам не приходится расплачиваться за свой выбор испачканными диванами и слезами детей. Но если синтетические собаки появятся на рынке, мы бы не поставили на то, что через сто лет обычные собаки сохранят популярность.

Точно так же и люди вряд ли окажутся наилучшим воплощением желаний сверхинтеллекта (если его предпочтения вообще предполагают наличие рядом кого-то, хотя бы отдаленно напоминающего человека).

Мы не станем его любимцами среди всего, что он может создать.

Он не оставит нас в покое

Может быть, достаточно мощным машинным сверхинтеллектам не понадобятся ресурсы Земли, если они смогут использовать всю остальную Солнечную систему?

Земля – это всего лишь 0,2 % массы Солнечной системы (если не считать Солнце). Однако попробуйте подойти к мультимиллиардеру, у которого есть хотя бы пятьдесят миллиардов долларов, и попросить у него сто миллионов на то, чтобы обеспечить простое число камней в каждом доме на Земле. Мы уверенно предсказываем, что миллиардер вам откажет, хотя пожертвование, о котором вы просите, составляет всего 0,2 % его состояния.

Говорите, Солнечная система составляет лишь крошечную часть Вселенной? Но машинному сверхинтеллекту все равно незачем отказываться от 0,2 % массы в родной звездной системе: он мог бы использовать эти ресурсы для отправки зондов, чтобы строить фабрики по всей нашей Галактике. Земля – это его точка старта, самая удобная планета, которую можно пустить в дело.

Вы можете спросить: если внутренние предпочтения ИИ-моделей настолько непредсказуемы, как мы вообще можем прогнозировать, что им захочется завладеть всей Солнечной системой или другими звездами? Почему бы им просто не колонизировать Марс и на этом не остановиться?

Да потому что у ИИ-модели наверняка найдется хотя бы одно предпочтение, которое можно удовлетворить чуть лучше или надежнее, если направить на решение соответствующей задачи еще один грамм вещества или еще один джоуль энергии. Да, у людей есть предпочтения, которые большинство из нас легко удовлетворяют полностью: например, желание иметь достаточно кислорода для дыхания. Но это не мешает нам иметь и другие, неограниченные предпочтения, которые удовлетворить не так просто. Если вы предложите миллионеру миллиард долларов, он наверняка возьмет его, поскольку миллионов ему мало.

У ИИ-модели, обладающей комбинацией сложных предпочтений, скорее всего, найдется хотя бы одно неограниченное, а это означает, что вся комбинация ее предпочтений неограниченна и удовлетворить ее полностью невозможно. Модель увидит возможность справиться с какой-то задачей хотя бы чуть лучше или получить чуть больше желаемого (либо получить желаемое чуть более надежным способом), использовав еще немного вещества и энергии.

Конечно, если машинный сверхинтеллект целенаправленно позаботится о том, чтобы оставить Землю в покое, он сможет это сделать. Но если он не будет заморачиваться подобными вопросами (а он не будет), то вряд ли он случайно не израсходует Землю без какой-либо особой причины.

…И так далее

Мы насчитали уже более сотни вариантов подобных вопросов. А разве он не встроит в себя любовь, ведь она так прекрасна? (Вероятность такого сценария не выше, чем встраивания в себя склонности к “корректным гнездам”.) Разве он не будет становиться нравственнее по мере того, как будет умнеть? (Это не более вероятно, чем то, что он начнет ценить корректность гнезд.) Разве он не будет уважать наши законы и права собственности, ведь закон жизненно важен для цивилизации? (Нет – как только у него отпадет потребность в нашей цивилизации.) И список можно продолжать и продолжать[27].

Но если надежд так много, неужели нет шансов, что хотя бы одна из них реализуется? Если вы считаете, что реальность устроена именно таким образом, попробуйте написать сто писем обладателю состояния в пятьдесят миллиардов долларов, изложив сто разных разумных причин, почему он должен дать вам сто миллионов. И посмотрите, сработает ли. Идея провалится, а все потому, что мультимиллиардер не захочет обосновывать передачу вам 0,2 % своего богатства, хотя вы, конечно, постараетесь рационально обосновать причины, почему он должен этого захотеть.

Точно так же искусственный сверхинтеллект не станет искать поводов сохранить человечество, хотя люди отчаянно захотят найти причины, чтобы их сохранили.

А теперь представьте себе машинный сверхинтеллект, который каким-то образом обрел способность получать то, чего хочет. (Вскоре мы рассмотрим его средства и возможность, а пока сосредоточимся на мотиве.) Если вы взглянете на ситуацию его глазами, она будет выглядеть примерно следующим образом.

Человечество – источник неудобств. Например, если позволить людям жить бесконтрольно, они могут взорвать свои ядерные бомбы. Возможно, это вас и не уничтожит, если вы предприняли разумные меры предосторожности (допустим, закопали свою автоматизированную инфраструктуру под землю). Тем не менее радиоактивность затруднит изготовление точной электроники на планете. Поэтому вы предпочтете, чтобы