Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Нет, мы стоим перед лицом куда более сложной проблемы: вырастить искусственный интеллект, который движется куда-то, гораздо проще, чем вырастить ИИ, который движется именно туда, куда хотите вы.

ГЛАВА 4

ВЫ ПОЛУЧАЕТЕ НЕ ТО, ЧЕМУ ОБУЧАЕТЕ.

МИЛЛИОН ЛЕТ назад, когда одна из ветвей приматов еще только осваивала огонь, два странных существа прибыли к Земле и вышли на орбиту на космическом корабле, дивясь тому, что они видели внизу.

Эти два существа были машинными интеллектами — хотя и не сверхинтеллектами, ибо будь они таковыми, эта притча сложилась бы совсем иначе, — и они никогда прежде не видели зрелищ, подобных тем, что открывала им Земля.

Ни тот, ни другой никогда прежде не видели существ, ползающих по планете. Их собственный вид считал своим домом космос, а кострами своего очага — звезды.

Также они никогда раньше не видели существ, которые воспроизводили сами себя, без участия какой-либо искусно созданной внешней фабрики. Среди сородичей этих гостей машинная жизнь создавала машинную жизнь — но с помощью фабрик и планирования, а не так, чтобы новые машины выползали из утробы другой машины.

Мы назовем этих гостей Клурлом и Трапауцием.i

— Какие странные это существа, — сказал Трапауций после того, как они вдвоем провели некоторое время, наблюдая за Землей внизу и отправляя дронов для взятия образцов. — Интересно, каково было бы поговорить с кем-то из них — скажем, через сто миллионов лет, если какая-то из их разновидностей в итоге станет достаточно разумной для беседы.

— Сто миллионов лет? — удивился Клурл. — Почему ты думаешь, что это займет так много времени? Посмотри, вон те «гоминиды» начали делать орудия труда, которые используют для создания других орудий; кое-кто назвал бы это признаком интеллекта.

— За последний миллиард лет эта планета породила мета-орудия лишь на уровне этих маленьких ручных рубил? — ответил Трапауций. — В таком случае я весьма щедр, предполагая, что какому-то виду потребуется всего еще сто миллионов лет, чтобы создать устройства в тысячу раз сложнее, — а ведь именно это необходимо для полноценного общения с нашими сородичами.

— Не знаю, — задумчиво произнес Клурл. — То, что мы наблюдаем на этой планете, — странное явление, нечто беспрецедентное в нашем прежнем опыте. Я не уверен, что мы можем с уверенностью предполагать, будто все управляющие им законы столь регулярны и просты.

— Это не имеет значения, — заявил Трапауций. — Поразмыслив еще несколько секунд, я понял, что с этими существами будет чрезвычайно скучно разговаривать, даже если они каким-то образом обретут разум.

— И почему же? — поинтересовался Клурл.

— Посмотри на процесс, который, по-видимому, изменяет их геномы, — сказал Трапауций, — при котором гены, конструирующие организмы, производящие больше себе подобных, становятся более распространенными в следующем поколении. Организмы «обучаются» ради единственной цели — распространения своих генов или генов своих сородичей. Так что эти существа, если бы кто-то из них и возвысился до разума, наверняка обладали бы в своем сознании лишь этим единственным стремлением и были бы соответственно скучными собеседниками.

— Не думаю, что твой вывод следует из твоих предпосылок, — возразил Клурл. — Эти гоминиды обрели стремление есть, спариваться, спасаться от хищников; они заботятся о благополучии своих детей и братьев с сестрами. Эти свойства коррелируют с их способностью передавать свои гены, но я сомневаюсь, что гоминиды едят, скажем, из понимания того, что им нужно есть для передачи своих генов. Вероятно, они просто чувствуют голод и думают о том, где бы найти следующую пищу.

— Действительно, так и должно быть, — согласился Трапауций. — Они еще недостаточно умны, чтобы понять связь между питанием и распространением генов. Но когда они станут достаточно умными, они наверняка перестанут есть ради вкусной еды и начнут есть исключительно ради распространения своих генов.

— А я предсказываю обратное, — сказал Клурл. — Я предсказываю, что по мере того, как гоминиды будут обретать всё больший интеллект и изобретать новые технологии, цивилизация «супергоминидов» изобретет средства контрацепции, которые позволят им получать удовольствие от секса, не производя на свет детей.

— Да быть не может! — воскликнул Трапауций. — Ведь это было бы прямо противоположно той единственной цели, под которую они были оптимизированы! Даже если бы подобная причудливая аномалия каким-то образом возникла в процессе развития у них интеллекта — хотя я не могу представить, как и почему, — любое стремление к сексу быстро исчезло бы у супергоминидов в ходе дальнейшей эволюции. Очень скоро они бы желали иметь как можно больше правнуков — этого и только этого, никогда не стремясь к сексу или еде иначе как к средствам достижения этой цели.

— Интересно, — задумчиво произнес Клурл, — захочет ли этот вид подвергаться изменениям в ходе естественного отбора подобным образом — захотят ли они оказаться существами, не получающими удовольствия ни от секса, ни от еды. Интересно, попытаются ли они сопротивляться силам, толкающим их в эту сторону.

— Конечно нет, будь они разумны! — убежденно ответил Трапауций. — Ни одно достаточно разумное существо не ошиблось бы так в понимании собственного предназначения; они бы осознавали ту единственную цель, ради которой были созданы.

— Они бы знали, но стало бы им до этого дело? — спросил Клурл.

ЧЕГО ИМЕННО БУДУТ ХОТЕТЬ СИСТЕМЫ ИИ? ОТВЕТ СЛОЖЕН. Сложен не в том смысле, что мы могли бы вам объяснить, но это займет много времени; а сложен в том смысле, что он хаотичен и непредсказуем. Но одна вещь, которая действительно предсказуема, заключается в том, что компании-создатели ИИ не получат того, чему обучали свои системы. Вместо этого они получат ИИ, которые хотят странных и удивительных вещей.

Чтобы понять, почему это предсказуемо, рассмотрим странный случай с мороженым.

Было бы невероятно трудно предсказать, исходя лишь из условий эволюции человечества — из наших метафорических обучающих данных, — что люди в итоге начнут производить и есть мороженое.

Предположим, что какому-то особо разумному инопланетянину удается со своей орбитальной точки обзора понять не только то, что людям нужно будет питаться ради получения сырья, но и то, что люди будут получать из этой пищи энергию (в отличие от растений, которые получают энергию от солнечного света). Инопланетянин успешно предсказывает, что люди будут стремиться к пище, обладающей