Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

девушка-птица: У них может быть сто разных врожденных эмоций и десять тысяч разных желаний! И все же, вероятно, среди них не будет “корректных гнезд” в том смысле, как мы понимаем корректность.

юноша-птица: Похоже, это противоречит той масштабной тенденции, которую мы наблюдали на протяжении всей нашей истории: по мере того, как росли интеллект, могущество, богатство, мудрость и знания нашего вида создателей Корректных Гнезд, цивилизации строили все более прекрасные гнезда со все большим общепризнанно корректным числом камней.

девушка-птица: У представителей нашего вида общие гены, которые формируют похожие мозги. Мы рождаемся со схожими эмоциями, побуждающими нас одинаково реагировать на доводы. Поэтому по мере того, как наш вид становился разумнее, мы находили все более совершенные ответы на наши общие внутренние вопросы. Но инопланетяне не задавались бы тем же внутренним вопросом о корректном числе камней, поэтому их поведение, связанное с гнездами, не сближалось бы с нашим по мере того, как оба наших вида становились бы умнее.

юноша-птица: А как насчет всего остального, что можно обрести, лишь стремясь жить в корректном гнезде? Например, острое зрение, чтобы замечать камни, скрытые в темных уголках гнезда, и острота ума, необходимая, чтобы быстро понять, корректно ли гнездо? Разумные инопланетяне хотят иметь острое зрение и острый ум, поэтому они, несомненно, решат стать такими существами, которые желают жить в корректных гнездах, даже если они такими не родились.

девушка-птица: Думаю, разум может развиваться более чуждыми путями, но при этом все равно достичь звезд.

Если развитие инопланетных видов протекает по законам известной нам биологической эволюции и если у них есть возможность обустроить жизнь по своему вкусу, то мало кто из них создаст цивилизацию, где все жилища содержат большое простое число камней. Существует множество других способов бытия, множество других направлений для движения. Это простой прогноз – как тот, что ваш следующий лотерейный билет не выиграет.

Аналогичным образом большинство мощных ИИ-моделей, созданных методом, хотя бы отдаленно напоминающим современные, не станут строить будущее, где живут счастливые свободные люди. Мы говорим это не потому, что нам нравится нагонять жуть. Просто эти мощные машинные интеллекты родятся с предпочтениями, не похожими на наши.

Их решение уничтожить нас, если у них появится такая возможность, не будет означать, что они нашли какие-то иные, более возвышенные или более просвещенные ответы на вопросы, которыми задаемся мы: “Как правильно поступать?”, “Что в конечном счете имеет значение?” или “До какой межзвездной цивилизации должно дорасти человечество?” Мощные искусственные интеллекты не будут задаваться этими вопросами, а их поведение не послужит на них ответом.

Те, кто выращивает ИИ-модели, могут настроить их на удержание клиентов, или добиться, чтобы они успешно прогнозировали следующие слова в высокопарных моральных сентенциях о человеческой жизни, или заставить их выдавать приятные речи и демонстрировать приятное поведение. Но мы прогнозируем: чему бы ИИ-модель ни обучали, если она станет сверхразумной или создаст сверхинтеллект, результатом будет чуждый механический разум, внутренняя психология которого почти совсем не похожа на все, что человечество обрело в ходе эволюции, а затем развило посредством культуры.

Отложим пока вопрос, может ли ИИ вообще стать сверхинтеллектом или создать сверхинтеллект и если да, то как. Об этом мы поговорим в следующей главе. Сейчас мы задаем более простой вопрос: будет ли такой новый чуждый разум благом для человечества?

Нет.

Создание будущего, где люди процветают, – это не лучший и не самый эффективный способ для достижения странных, чуждых целей. Значит, ИИ не станет этим заниматься, равно как мы не стали бы следить, чтобы наши жилища всегда содержали простое число камней.

В каком-то смысле на этом можно ставить точку и заканчивать главу. Но наш многолетний опыт показывает, что людям зачастую трудно проглотить эту горькую пилюлю. Мы наслушались оптимистичных утверждений, будто сверхинтеллект захочет сохранить нам жизнь даже после того, как у него появится возможность от нас избавиться. Развеем хотя бы часть таких надежд.

Ему не будет от нас пользы

Разве люди не будут полезны сверхинтеллекту, даже если он и не захочет быть добрым просто во имя добра?

Как только ИИ достигнет высокого технологического уровня – нет. Когда-то люди зависели от лошадей, и хотя кормить их было недешево, люди все равно тратились на их содержание, поскольку еще не изобрели автомобили на замену конных повозок и танки на замену кавалерии. Как только мы создали технологическую замену лошадям, мы перестали их держать.

Ситуация с курами другая: мы все еще массово их разводим, но лишь потому, что технологии пока не позволяют выращивать мясо другими, более дешевыми способами. Существуют стартапы, работающие над этой задачей, однако наши технологии пока не могут конкурировать с естественным отбором как “инженером” кур. Так что огромное количество кур вокруг нас не означает, будто живая курица – это самый эффективный способ производства мяса, просто наши технологии крайне далеки от физических пределов, позволяющих получать куриное мясо более экономичным способом, нежели выращивание живой птицы.

(Кроме того, полезность кур для людей отнюдь не обеспечивает этим птицам превосходные условия жизни.)

Мы не будем для него хорошими торговыми партнерами

Но разве сверхинтеллекту не эффективнее торговать с людьми, нежели убивать нас?

Этот вопрос регулярно задают экономисты – возможно, по той причине, что существует экономическая теорема, известная как “закон сравнительного преимущества”. Она гласит: даже если вы превосходите другую страну в производстве всех видов товаров, то все равно можете извлечь выгоду из торговли с ней за счет относительных преимуществ. Даже если в Низкотехнии требуется 10 часов труда, чтобы произвести 10 булочек для хот-догов, и 10 часов труда, чтобы произвести 10 сосисок, а в Высокотехнистане уходит всего 2 часа на 10 булочек и 1 час на 10 сосисок, эти страны все равно могут извлечь взаимную выгоду из торговли – меняя сосиски Высокотехнистана на булочки Низкотехнии.

К сожалению, эта теорема исходит из предпосылки, что и Низкотехния, и Высокотехнистан продолжают существовать и трудиться. Она не учитывает, что Высокотехнистан может еще сильнее расширить производство, просто завоевав Низкотехнию и отобрав ее территорию. Сравнительное преимущество не доказывает, что люди всегда будут извлекать выгоду из “торговли”, предоставляя кров и корм лошадям в обмен на работу, – как только затраты на лошадь начинают превосходить ценность ее труда, лошадь отправляют на живодерню.

Каждый человек обходится минимум в сто ватт: именно столько энергии расходует человеческое тело, как бы эффективно его ни подпитывать. Было бы крайне странно, если бы человек мог превратить сто ватт в большее количество товаров и