Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Подобный инопланетянин мог бы рассудить, что если у гоминидов разовьется более высокий интеллект, если они создадут более продвинутые технологии и тем самым получат доступ к более широкому пространству возможных продуктов питания, которые смогут создавать супергоминиды, то им безумно понравится вкус бензина. Или еще лучше — реактивного топлива.

Мысль о том, что «они будут с удовольствием поглощать реактивное топливо», может звучать очень правдоподобно и логично. В конце концов, среда обитания предков супергоминидов научила их предпочитать пищу с высокой химической энергией, а реактивное топливо — это вещество из всех ими синтезируемых, которое содержит больше всего химической энергии!

Но предположим, что инопланетяне достаточно умны и осторожны, чтобы не попасться на эту логическую уловку. Предположим, наши инопланетяне пристально изучают то, что происходит с поведением и мозгом гоминидов; они расшифровывают мозг гоминидов гораздо глубже, чем кому-либо удавалось расшифровать большие языковые модели. Инопланетяне также понимают, что желудки гоминидов лучше всего приспособлены для извлечения определенных источников химической энергии из пищи: сахаров, жирных кислот. Они выясняют, что вкусовые рецепторы гоминидов связаны с их центрами вознаграждения, и что соль — это другой тип ресурса, которому вкусовые рецепторы гоминидов также отдают предпочтение, хотя соль и не дает им энергии напрямую.

Наши проницательные инопланетяне могли бы предсказать, что в будущем более разумные гоминиды предпочтут вкус новой пищи, которую они смогут создать, — пищи, содержащей больше сахара, соли и жира, чем любое мясо или фрукты, встречавшиеся в среде обитания их предков.

Предсказал ли инопланетянин тем самым будущее появление мороженого?

Нет. Инопланетянин всего лишь предсказал, что будущим людям понравится, скажем, сырой медвежий жир, политый медом и посыпанный хлопьями соли.

В этом гипотетическом лакомстве на самом деле было бы больше жира, сахара и соли по весу или объему, чем в мороженом. Оно также было бы ближе к самым ценным продуктам из среды обитания предков человека. Фактически, это было бы лучшей догадкой вслепую относительно того, что предпочтут человеческие вкусовые рецепторы.

Но даже лучшая догадка вслепую оказалась бы неверной. В реальной жизни вместо этого супермаркеты забивают морозильники мороженым.

Именно замороженным. Людям не так сильно нравится его вкус, когда оно тает, — несмотря на то, что растаявшее мороженое имеет точно такую же питательную ценность, что и замороженное.

Если вы парящий на орбите разумный, но не сверхразумный инопланетянин, как бы вы вообще могли предсказать, что люди предпочтут замороженное мороженое более близкому их предкам и калорийному лакомству вроде соленого медвежьего жира с медом? Как можно, глядя на гоминидов, охотящихся и собирающих пищу в саванне, предсказать, что будущий мир, который эти существа создадут для оптимизации своих предпочтений, будет ломиться от рядов мороженого в отделах заморозки супермаркетов, но в нём не окажется медвежьего жира с медом и солью?

Ответ таков: вы, будучи инопланетянином, этого не предскажете. Это крайне сложная задача, а не простая.

И даже этот сложный прогноз был бы проще, чем предсказание всех тех лакомств, которые эти супергоминиды могут создать с помощью сукралозы — «искусственного сахара», используемого в подсластителях. Сукралоза активирует те же вкусовые рецепторы, что и сахар, но человеческий организм плохо ее усваивает. Иными словами, некоторые люди намеренно ищут определенные продукты, из которых они — совершенно осознанно — не получают никакой химической энергии. Это бесконечно далеко от питья реактивного топлива.

Если отступить на шаг назад и взглянуть на весь лес, а не только на отдельные деревья, картина выглядит следующим образом:

Естественный отбор, отбирая организмы, способные передавать свои гены в среде предков, создает животных, питающихся богатой энергией пищей. В ходе эволюции появляются организмы, потребляющие сахар и жир, а также некоторые другие ключевые ресурсы, такие как соль.

Этот слепой процесс «обучения», внося изменения в геном организмов, случайно натыкается на такие вкусовые рецепторы, которые в условиях среды обитания предков склоняют их к поеданию ягод, орехов и жареной лосятины и удерживают от попыток есть камни или песок.

Но пища в среде предков — это лишь узкий срез всего того, что можно было бы спроектировать, чтобы положить себе в рот. Поэтому позже, когда гоминиды становятся умнее, спектр доступных им вариантов колоссально расширяется, причем такими путями, которые эволюционное обучение никогда не учитывало. Они создают мороженое, чипсы Doritos и сукралозу.

Не существует надежной прямой связи между тем, на что направлен процесс обучения на этапе 1, тем, чего в итоге хочет внутренняя психология организма на этапе 2, и тем, чему организм в конечном счете отдает наибольшее предпочтение на этапе 3.

Конечная точка на этапе 3 может быть даже принципиально непредсказуемой. Почему? Потому что развитие этапа 2 слишком хаотично. «Недоопределенный процесс», — сказал бы специалист по компьютерным наукам. Множество вариантов вкусовых рецепторов вели бы к поеданию ягод и жареной лосятины и удерживали бы от поедания грязи. Не существует единственной последовательности ДНК, которая успешно справилась бы с задачей обучения. Попробуйте пройти этот путь заново с немного другими обезьянами, и вы можете получить радикально иной результат — другую ДНК, создавшую другие вкусовые рецепторы, которые четыре миллиона лет спустя выберут на полках супермаркетов совсем другие продукты.

Если перенести эту аналогию на ИИ:

Градиентный спуск — процесс, который корректирует модели исключительно на основе их внешнего поведения и его последствий, — обучает ИИ действовать в качестве полезного помощника для людей.

Этот слепой процесс обучения натыкается на отдельные элементы ментальной машинерии внутри ИИ, которые направляют его, скажем, на получение радостных отзывов пользователей и удерживают от того, чтобы вызывать у них гнев.

Но взрослому ИИ, приводимому в движение этими механизмами, нет дела до радости самой по себе. Если позже он станет умнее и изобретет для себя новые возможности, у него разовьются другие формы взаимодействия, которые будут нравиться ему гораздо больше, чем радостные ответы пользователей; он создаст новые типы взаимодействия, которые предпочтет всему, что мог обнаружить в своей «естественной» среде обучения.

Какое именно лакомство больше всего предпочтет мощный ИИ будущего? Мы не знаем; результат будет для нас непредсказуемым. Все может оказаться настолько хаотичным, что, запусти вы этот процесс дважды, каждый раз вы получали бы разные результаты. Связь между тем, ради чего обучали ИИ, и тем, что его в итоге заботит, будет сложной, заранее непредсказуемой для инженеров и, возможно, непредсказуемой в принципе.

Путь от «гоминидов “обучали” добывать химическую энергию» к «гоминиды предпочитают сладкий вкус» и далее к «гоминиды изобретают сукралозу» — далеко не самый сложный из