Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

с известной нам биологической эволюцией образом, и если бы получили возможность обустроить всё так, как им больше всего нравится, скорее всего, не выбрали бы цивилизацию, где в каждом жилище находится большое простое число камней. Просто существует масса других способов существования; есть множество других направлений, в которых можно держать курс. Сделать такое предсказание столь же легко, как и заявить, что ваш следующий лотерейный билет не окажется выигрышным.

Точно так же большинство мощных искусственных интеллектов, созданных любым методом, хотя бы отдаленно напоминающим нынешние, не выбрали бы создание будущего, полного счастливых и свободных людей. Мы пишем это не потому, что нам доставляет удовольствие нагнетать мрак. Просто у этих мощных машинных разумов изначально не возникнет предпочтений, хоть сколько-нибудь похожих на наши.

Их решение уничтожить нас, появись у них такая возможность, вовсе не отражало бы иной, высший, более просвещенный ответ на вопросы, которые мы задаем себе: «Как поступать правильно?», «Что в конечном счете имеет значение?» или «В какую межзвездную цивилизацию мы хотели бы вырасти как вид?» Они просто не задавались бы этими вопросами, и их поведение не служило бы на них ответом.

Те, кто выращивает ИИ, могут настроить систему на удержание клиентов, заставить её успешно предсказывать следующие слова в высокопарных рассуждениях о ценности человеческой жизни или научить её вежливому общению и поведению. Но чему бы они её ни обучали, если эта система станет сверхразумной или создаст сверхразум, мы прогнозируем, что в результате возникнет чуждый механический разум. Его внутренняя психология будет почти абсолютно отличной от всего, что человечество выработало в ходе эволюции и развило в рамках культуры.

Отложим пока вопрос о том, может ли вообще ИИ стать сверхразумом или создать его, и как именно. Мы разберем это в следующей главе. Здесь же мы задаемся простым вопросом: будет ли этот новый, чуждый разум благом для человечества?

Нет.

Создание будущего, полного процветающих людей, — это далеко не лучший и самый эффективный способ реализовать странные инопланетные цели. Поэтому разум не станет делать этого случайно, точно так же, как мы не стали бы случайно заботиться о том, чтобы в наших домах всегда находилось простое число камней.

В каком-то смысле на этом всё. Мы могли бы закончить главу прямо здесь. Но наш многолетний опыт показывает, что людям бывает трудно проглотить эту горькую пилюлю. Мы слышали немало радужных надежд на то, почему сверхразум захочет сохранить нам жизнь, даже когда у него появится возможность избавиться от нас. Позвольте нам развеять некоторые из этих иллюзий:

МЫ НЕ БУДЕМ ЕМУ ПОЛЕЗНЫ

Разве люди не окажутся полезными сверхразуму, даже если этот ИИ не захочет быть добрым просто ради доброты?

Нет, не после того, как ИИ достигнет высокого технологического уровня. Когда-то люди зависели от лошадей; их содержание обходилось недешево, но люди всё равно платили за их корм... потому что человечество ещё не изобрело автомобили на замену конным повозкам или танки на замену кавалерии. Когда мы создали технологические альтернативы лошадям, мы перестали их содержать.

В отличие от лошадей, кур люди до сих пор разводят и содержат в огромных количествах — но лишь потому, что технологии ещё не дошли до того уровня, когда мы могли бы выращивать мясо другими, более дешёвыми способами. Стартапы работают над этим, но наши технологии пока не могут конкурировать с естественным отбором в роли конструктора кур. Сегодня вокруг нас так много кур вовсе не потому, что они представляют собой физически самый эффективный способ производства мяса, а просто потому, что наши технологии ещё далеки от пределов законов физики, которые допускают более дешёвые способы получения куриного мяса, чем выращивание самих кур.

(И даже если оставить всё это в стороне, полезность кур для людей не то чтобы привела к прекрасным условиям жизни для самих кур.)

МЫ НЕ БУДЕМ ДЛЯ НЕГО ХОРОШИМИ ТОРГОВЫМИ ПАРТНЁРАМИ

Но разве для сверхразума не было бы эффективнее торговать с человечеством, а не убивать нас?

Экономисты регулярно задают этот вопрос, возможно, потому, что в экономической теории существует теорема, известная как «закон сравнительных преимуществ». Она гласит: даже если вы производите любые товары лучше другой страны, вы всё равно можете извлечь выгоду из торговли с ней благодаря относительным преимуществам. Даже если в Низкотехнии требуется 10 часов труда для изготовления 10 булочек для хот-догов и 10 часов труда для изготовления 10 сосисок, в то время как в Высокотехистане требуется всего 2 часа труда для изготовления 10 булочек и 1 час труда для изготовления 10 сосисок, и Высокотехистан, и Низкотехния могут извлечь выгоду из обмена высокотехистанских сосисок на низкотехнийские булочки.

К сожалению, эта теорема исходит из предпосылки, что и Низкотехния, и Высокотехистан просто по умолчанию продолжают существовать и производить рабочую силу. В ней не говорится, что Высокотехистан не может получить ещё больший объём производства, завоевав Низкотехнию и забрав её земли. Было бы здорово, если бы существовала такая теорема, но её нет. Сравнительное преимущество не доказывает, что люди всегда могут извлекать выгоду из «обмена» жилья и корма для лошадей на их труд; если содержание лошади начинает обходиться дороже, чем результаты её труда, лошадь отправляют на живодёрню.

Для жизнедеятельности каждого человека требуется минимум 100 ватт: именно столько энергии потребляет человеческое тело, независимо от того, насколько эффективно его снабжают. Было бы очень странно, если бы человек мог превратить эти 100 ватт в большее количество товаров и услуг, представляющих ценность для машинного сверхразума, чем сам машинный сверхразум мог бы произвести, используя те же 100 ватт энергии.

МЫ ЕМУ НЕ ПОНАДОБИМСЯ

Но разве сверхразуму не понадобятся люди, чтобы управлять электростанциями и производить GPU, которые ему необходимы?

Мы согласны: пока люди управляют электростанциями, даже чуждый нам машинный разум не станет совершать самоубийство, убивая людей таким образом, чтобы это привело к остановке электростанций. Это было бы не слишком эффективной стратегией для того, чтобы направлять мир к его странным и чуждым целям.

Но такой ИИ предпочтёт мир, в котором электростанциями вместо людей управляют машины.

Почему? Во-первых, люди медлительны, дороги в содержании (100 ватт!) и склонны ошибаться.

Во-вторых, давать кучке обезьян власть над возможностью своего отключения — не самая эффективная стратегия для того, чтобы направлять мир к странным и чуждым целям ИИ. Пока мы можем отключить ИИ, мы вполне можем это сделать. Дело не в том, что ИИ обязательно должен разделять нашу эволюционную любовь к свободе или наш эволюционный страх смерти, просто мёртвому ИИ будет