Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

ИИ со временем начнут демонстрировать “желаниеподобное” поведение. Дело в том, что ИИ-компании изо всех сил стараются создать модели, работающие именно так. Модель, которая лучше справляется с маркетингом продукта или лучше управляет какой-то командой по собственной инициативе, приносит больше пользы. Покупатели заплатят больше за ту модель ИИ, которая самостоятельнее и требует меньше надзора. При таком раскладе споры о том, являются ли субъектность, независимые действия и долгий горизонт планирования неразрывно связанными с интеллектом, фактически теряют смысл. Такие “ИИ-агенты” будут приносить прибыль, поэтому компании бросают все силы на их разработку2.)

Если бы вы могли выбирать, чего хочет искусственный интеллект, то есть цели, к которым он стремится, это могло бы вас порадовать. Или же огорчить, если бы вы неудачно выбрали эти цели или если бы какой-нибудь злоумышленник создал модель, нацеленную на результат, который вам не нравится. Однако стоящая перед человечеством проблема не сводится к вопросу, хорошие или плохие люди управляют искусственным интеллектом.

Нет, мы столкнулись с куда более сложной проблемой: гораздо проще вырастить искусственный интеллект, который стремится куда-то, нежели вырастить модель, стремящуюся именно туда, куда вы хотите.

IfAnyoneBuildsIt.com/3

Глава 4

Вы получаете не то, чему обучаете

Миллион лет назад, когда одна из ветвей приматов еще только осваивала огонь, к Земле прилетел космический корабль с двумя странными существами. Обосновавшись на орбите, они с изумлением смотрели, что происходит на планете.

Это были два машинных интеллекта (но не сверхинтеллекта, ибо, будь они сверхинтеллектами, история получилась бы совсем другой), и они никогда прежде не встречали ничего подобного тому, что являла им Земля.

Ранее им не доводилось видеть организмы, снующие по планете. Их собственный вид считал своим домом космос, а домашними очагами – звезды.

Не видели они раньше и существ, которые воспроизводили бы себя без какой-либо хитроумной внешней фабрики. В цивилизации пришельцев машинная жизнь создавала машинную жизнь, но с помощью фабрик и планирования, а не так, чтобы новые машины выползали из чрева какой-то другой машины.

Мы назовем этих визитеров Клурль и Трапауций[17].

– Какие необычные существа, – сказал Трапауций после того, как они некоторое время наблюдали за Землей, отправляя дроны для сбора образцов. – Интересно было бы поговорить с кем-нибудь из них. Лет этак через сто миллионов, если какая-нибудь их разновидность окажется достаточно разумной для беседы.

– Сто миллионов лет? – переспросил Клурль. – С чего ты взял, что на это уйдет столько времени? Смотри, вон те гоминиды уже начали делать орудия и использовать их для изготовления других орудий. Некоторые назвали бы это признаком интеллекта.

– То есть за последний миллиард лет эта планета произвела всего лишь инструменты уровня примитивных рубил, – заметил Трапауций. – Тогда я весьма великодушен, предполагая, что всего лишь за сто миллионов лет какой-нибудь вид сумеет создать устройства в тысячу раз сложнее – те, что необходимы для полноценного общения с нами.

– Как знать, – ответил Клурль. – Мы видим на этой планете странное явление, с каким еще не сталкивались. Я бы не стал с уверенностью утверждать, что все законы, управляющие этим миром, так уж однозначны и прямолинейны.

– Это не имеет значения, – заявил Трапауций. – Поразмыслив еще несколько секунд, я понял, что с этими существами будет крайне скучно разговаривать, даже если они каким-то образом обретут разум.

– Это почему же? – заинтересовался Клурль.

– Вспомни о процессе, изменяющем их геномы, – начал объяснять Трапауций. – Гены, конструирующие те организмы, что производят больше себе подобных, становятся более распространенными в следующем поколении. Эти организмы “обучаются” единственной цели – распространять свои гены или гены своих родственников. Поэтому, если кто-то из этих существ и обретет разум, тот наверняка будет подчинен лишь одному этому побуждению, а значит, беседовать с ними будет скучно.

– Не уверен, что из твоих предпосылок следует такой вывод, – ответствовал Клурль. – Эти гоминиды обрели потребность есть, спариваться, спасаться от хищников, они заботятся о благополучии своих детей и своих братьев и сестер. Эти признаки коррелируют с их способностью передавать свои гены, но я сомневаюсь, что гоминиды едят, поскольку понимают необходимость питаться для передачи генов. Скорее всего, они просто чувствуют голод и прикидывают, где бы найти следующую порцию еды.

– Да, наверное, так и есть, – согласился Трапауций. – Они еще недостаточно разумны, чтобы понимать, как еда связана с распространением генов. Но когда они достаточно поумнеют, они, несомненно, перестанут есть ради удовольствия и начнут есть исключительно ради распространения своих генов.

– Прогнозирую обратное, – фыркнул Клурль. – Полагаю, что по мере того, как гоминиды будут развивать интеллект и создавать новые технологии, цивилизация таких “супергоминидов” изобретет средства контрацепции, которые позволят им получать удовольствие от секса без производства потомства.

– Ни в коем случае! – возразил Трапауций. – Да ведь это прямо противоположно той единственной цели, под которую они оптимизированы! Даже если бы по мере роста интеллекта и возникла подобная причудливая аномалия (хотя я не могу представить, как или почему это может случиться), в ходе эволюции супергоминидов любая склонность к сексу ради секса быстро бы снова исчезла. Довольно скоро они захотят иметь как можно больше правнуков, а секс и еда будут восприниматься исключительно как средства для достижения этой цели.

– Интересно, – задумчиво произнес Клурль, – захотел бы этот вид, чтобы естественный отбор изменил его таким образом? Захотели бы они стать существами, которые не получают удовольствия от секса или еды? Попытались бы воспротивиться силам, толкающим их в этом направлении?

– Конечно нет, если они разумны! – воскликнул Трапауций. – По-настоящему разумные существа не станут так ошибаться в собственном предназначении. Они поймут ту единственную цель, ради которой созданы.

– Понять-то поймут, но будет ли им до этого дело? – задумчиво спросил Клурль.

Чего именно захотят ИИ-модели? Это сложный вопрос. Не в том смысле, что мы сможем это объяснить только за большое время, а в смысле хаотичности и непредсказуемости. Но одну вещь предсказать можно: ИИ-компании получат вовсе не то, чего добивались при обучении своих моделей. Они получат модели, которые хотят причудливых и неожиданных вещей.

Чтобы понять, почему это предсказуемый исход, рассмотрим один любопытный пример с мороженым.

Если исходить только лишь из обстоятельств эволюции человечества – из наших метафорических обучающих данных, – было бы невероятно сложно спрогнозировать, что люди начнут изготавливать и есть мороженое.

Допустим, проницательным инопланетянам, наблюдающим за человечеством с орбиты, удастся не только выяснить, что людям необходимо есть ради получения сырья для организма, но и понять, что люди получают из этой пищи энергию (в отличие от растений, получающих энергию от солнечного света). Инопланетяне успешно предсказывают, что