Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если белое пятно на вашей карте скрывает мину, то наступить на это место всем весом будет фатально, какими бы хорошими ни были ваши оправдания собственного незнания. Любой черный ящик может таить в себе ловушку, и узнать об этом никак нельзя, кроме как открыв этот черный ящик и заглянув внутрь. Если вы придумаете себе какое-нибудь праведное оправдание тому, почему вам необходимо мчаться вперед, пользуясь наилучшим из имеющихся у вас пониманий, — ловушка сработает.

Только когда вы знаете правила,

Вы понимаете, почему вам нужно было учиться;

Что случилось бы в противном случае,

Как много вам нужно было знать.

Только знание способно предсказать цену невежества. У древних алхимиков не было логического способа узнать точные причины, по которым им было так трудно превратить свинец в золото. Поэтому они травились и умирали. Природе всё равно.

Но пришло время, когда ко мне начало приходить осознание.

*

1. Эдвард Элмер Смит, «Линзмены второй ступени» (Old Earth Books, 1998).

297. Крошечный диссонанс.

Когда мы в последний раз расстались с Элиезером-1997, он верил, что любой сверхинтеллект автоматически будет делать то, что «правильно», и даже будет понимать это лучше нас — хотя сам он, как скромно признавался, и не постиг конечную природу морали. Или, точнее, после некоторых дебатов Элиезер-1997 разработал сложную систему аргументов (которую он с любовью называл «формальной») о том, что мы всегда можем исходить из допущения, будто у жизни есть смысл; следовательно, случаи, когда сверхинтеллект не чувствует себя обязанным делать что-то конкретное, можно не рассматривать. (Ошибка здесь заключалась в необдуманном и неоправданном приравнивании «универсально убедительного аргумента» к понятию «правильного».)

Пока что юный Элиезер уверенно идёт к тому, чтобы вступить в клуб «умных людей, которые ведут себя глупо, потому что умеют мастерски защищать убеждения, к которым пришли немудрыми путями». Вся его преданность «рациональности» не уберегла его от этой ошибки, и у вас может возникнуть искушение сделать вывод, что стремиться к рациональности бесполезно.

Но хотя многие люди сами копают себе ямы, далеко не всем удаётся выкарабкаться обратно.

И из этого я выношу урок: всё началось —

— с крошечного, крошечного вопроса; с одной-единственной фальшивой ноты; с одной маленькой одинокой мысли...

В начале нашей истории мы переносимся на три года вперёд, к Элиезеру-2000, который в большинстве отношений похож на себя образца 1997-го. Сейчас он считает доказанным, что создание сверхинтеллекта — это правильный поступок, если вообще существует хоть какой-то правильный поступок. Из чего следует, что среди народов и отдельных жителей Земли нет оправданного конфликта интересов вокруг взрыва интеллекта.

Это важный вывод для Элиезера-2000, потому что сама мысль о грызне из-за взрыва интеллекта кажется ему невыносимо глупой. (Что-то вроде представления о Боге, вмешивающемся в разборки между племенами спорящих варваров, только наоборот.) Представление Элиезера-2000 о самом себе не позволяет ему — да он даже и не хочет — пожать плечами и сказать: «Ну, наша сторона пришла первой, так что мы сцапаем банан, пока другие не успели». Это слишком болезненная мысль, чтобы её думать.

И всё же затем ему в голову приходит мысль:

Может быть, некоторые люди предпочли бы, чтобы ИИ делал определённые вещи — например, не убивал их — даже если жизнь бессмысленна?

Следующая же его мысль вполне очевидна, учитывая его предпосылки:

В случае, если жизнь бессмысленна, не существует никакого «правильного» действия; следовательно, и уважение человеческих предпочтений в этом случае не будет чем-то особенно правильным.

Это очевидная уловка. Проблема, однако, в том, что Элиезер-2000 не считает себя злодеем. Он не ходит кругами, размышляя: «От каких бы пуль мне сегодня уклониться?» Он видит себя добросовестным рационалистом, который упорно следует по цепочкам рассуждений. Позже он оглянется назад и увидит массу направлений мысли, по которым его разум каким-то образом умудрился не пойти, — но сейчас его текущее представление о себе совсем другое.

Поэтому Элиезер-2000 не просто хватается за очевидную лазейку. Он продолжает думать.

Но если люди считают, что у них есть предпочтения на случай, если жизнь бессмысленна, то у них есть мотив оспаривать мой проект интеллектуального взрыва и выбрать проект, который уважает их желание на случай бессмысленности жизни. Это создаёт реальный конфликт интересов вокруг взрыва интеллекта прямо сейчас и мешает делать правильные вещи в основном сценарии, когда жизнь имеет смысл.

Сейчас существует куча отговорок, которые Элиезер-2000 мог бы использовать, чтобы выбросить эту проблему из головы. Я знаю это, потому что слышал предостаточно оправданий для того, чтобы отмахнуться от Дружественного ИИ. «Эта проблема слишком сложна, чтобы её решить» — такое я слышу от тех, кто мечтает создать ОИИ и считает себя достаточно умным для создания истинного искусственного интеллекта, но недостаточно умным, чтобы решить действительно сложную проблему вроде Дружественного ИИ. Или: «Беспокойство по поводу этой возможности было бы нерациональной тратой ресурсов, учитывая невероятную срочность создания ИИ до того, как человечество уничтожит само себя — приходится работать с тем, что есть», — это говорят люди, которым проблема просто неинтересна по большому счёту.

Но Элиезер-2000 — перфекционист. Он, очевидно, не идеален и не придает такого значения добродетели точности, как я, но он совершенно точно перфекционист. Идея метаэтики, которую поддерживает Элиезер-2000, согласно которой сверхинтеллект знает, что правильно, лучше нас, ранее, казалось, упаковывала все проблемы справедливости и морали в герметичную оболочку.

Новое возражение, похоже, проделывает крошечную брешь в этой герметичной оболочке. Её стоит залатать. Если у вас есть нечто идеальное, неужели вы позволите одной маленькой гипотетической возможности всё испортить?

Так что Элиезер-2000 даже не хочет бросать эту тему; он хочет устранить проблему и вернуть всё к идеалу. Как он может оправдать потраченное на это время? Размышляя в таком духе:

Как быть с Брайаном Аткинсом? [Брайан Аткинс — первый спонсор Научно-исследовательского института машинного интеллекта (MIRI), который тогда назывался Институтом Сингулярности.] Он, вероятно, предпочёл бы не умирать, даже если бы жизнь была бессмысленной. Сейчас он финансирует MIRI; я не хочу запятнать этику нашего сотрудничества.

Чувство Элиезера-2000 не так-то просто выразить — ни в английском языке, ни в любой другой известной мне культуре нет для него простого описания. Пожалуй, ближе всего здесь отрывок из Ветхого Завета: