Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Те немногие философы, что там присутствовали, не помогли ему выбраться из его затруднений. Философы ведь не скажут: «Извините, с моралью всё ясно, в когнитивной науке и философии этот вопрос уже решён, а ваша точка зрения попросту ошибочна». Природа морали по-прежнему остаётся открытым вопросом в философии, дискуссия всё ещё продолжается. Философ сочтёт своим долгом ознакомить вас со списком классических аргументов со всех сторон, а у Элиезера1996 вполне хватает ума, чтобы разбить большинство из них, и в результате он приходит к выводу, что философия — это бесплодная пустыня.

Но подождите. Дальше — хуже.

Не помню точно когда — возможно, в 1997 году, — но более молодой я (назовём его Элиезером1997) вознамерился неопровержимо доказать, что создание сверхинтеллекта — это единственно правильное решение.

*

296. Несусветная глупость зеленой юности.

В этих словах звучит несусветная глупость зеленой юности; безрассудство столь бездонного невежества, какое возможно лишь для представителя вашей эфемерной расы...

—Гарлейн из Эддора1

Давным-давно, много лет назад, я предложил таинственный ответ на таинственный вопрос — на что уже неоднократно намекал. Однако таинственным вопросом, на который я предложил таинственный ответ, было вовсе не сознание — или, скорее, не только сознание. Нет, куда более постыдная ошибка заключалась в том, что я придерживался таинственного взгляда на мораль.

Я откладывал обсуждение этого до сего момента, до окончания серии о метаэтике, потому что хотел, чтобы было совершенно ясно: Элиезер-1997 действительно ошибся.

Когда мы расстались с ним в прошлый раз, Элиезер-1997, не удовлетворившись интуитивными аргументами в пользу того, что сверхразум будет морален, вознамерился неопровержимо доказать, что создание сверхразума — это правильный поступок.

Что ж (говорил Элиезер-1997), начнем с вопроса: имеет ли жизнь вообще хоть какой-то смысл?

«Я не знаю», — тут же отвечал Элиезер-1997 с некоторой долей самодовольства от того, что признает собственное незнание по теме, в которой столь многие другие кажутся уверенными.

«Но, — продолжал он, —»

(Всегда настораживайтесь, когда за признанием своего незнания следует слово «Но».)

«Но если предположить, что жизнь не имеет смысла — то есть полезность всех исходов равна нулю, — то эта возможность исключается из любого расчета ожидаемой полезности. Следовательно, мы всегда можем действовать так, будто точно известно, что жизнь имеет смысл, даже если мы не знаем, в чем этот смысл заключается. Как нам этот смысл выяснить? Учитывая, что люди до сих пор спорят об этом, задача, вероятно, слишком сложна для человечества. А значит, нам нужен сверхразум, чтобы он решил ее за нас. Что же касается возможности того, что логического обоснования превосходства одних предпочтений над другими вообще не существует, то в этом случае строить сверхразум ничуть не более правильно или неправильно, чем делать что-либо еще. Это реальная возможность, но она выпадает из любой попытки рассчитать ожидаемую полезность — мы должны просто ее проигнорировать. Если кто-то утверждает, будто сверхразум уничтожит человечество, он либо доказывает, что уничтожение человечества на самом деле является правильным поступком (хотя мы и не видим причин, почему это должно быть так), либо утверждает, что правильных поступков не существует (и в этом случае его аргумент против создания разума опровергает сам себя)».

Эргх. Написать этот абзац было по-настоящему трудно. Мое прошлое «я» — это всегда мой самый концентрированный криптонит, потому что оно в точности воплощает все то, для блокировки чего я сегодняшний выработал в себе аллергию. Не зря говорят, что родители сами совершают все то, что запрещают делать детям, и именно поэтому знают, что этого делать нельзя; то же справедливо и для прошлых и будущих ипостасей самого себя.

Насколько ошибочен аргумент Элиезера-1997? Я со счета собьюсь, перечисляя все изъяны. Я знаю, что память ненадежна и реконструируется при каждом воспоминании, поэтому я не доверяю тому, как мой нынешний разум склеивает эти старые осколки. Не просите меня перечитывать мои старые работы — это слишком болезненно.

Но очевидно, что тогда я представлял себе полезность как некую субстанцию, внутренне присущее свойство. Так что фраза «жизнь бессмысленна» соответствовала полезности, равной нулю. Но, конечно, этот аргумент с тем же успехом сработал бы и при полезности, равной 100: если все имеет смысл, но смысл этот везде одинаков, то данный случай тоже должен исключаться... Разумеется, я тогда не думал о функции полезности как об аффинной структуре предпочтений. Я думал о «полезности» как об абсолютном уровне внутренней ценности.

Я думал о «следует» как о некоей чисто абстрактной сути непреодолимого побуждения, о «том-что-заставляет-тебя-что-то-делать»; так что любой разум, который вывел бы «следует», безусловно оказался бы им связан. Отсюда и предположение, которое Элиезер-1997 даже не догадался зафиксировать явно: будто логика, принуждающая абстрактный разум к какому-либо действию, — это в точности то же самое, что люди имеют в виду и на что ссылаются, произнося слово «правильно»...

Но сейчас я пытаюсь перечислить все эти изъяны, хотя, если вы следили за ходом мысли, вы вполне справитесь с этим самостоятельно.

Важный аспект всего этого провала заключался в том, что, доказав себе, будто случай «жизнь бессмысленна» не заслуживает рассмотрения, я посчитал необязательным строго определять понятия «интеллект» или «смысл». Ранее я придумал изящное оправдание тому, почему не стоит стремиться к формализму и строгости при определении «интеллекта» (или «морали»), а именно — все те подмены понятий, к которым прибегали прежние специалисты по ИИ, философы и моралисты, давая определения, упускавшие саму суть.

Отсюда я вынес следующий урок: каким бы умным ни было оправдание для снижения планки требований или уклонения от строгости, оно все равно выстрелит вам прямо в ногу.

И еще один урок: я был силен в опровержениях. Если бы я применил к собственной позиции тот же уровень критичности — когда аргумент отвергается при наличии малейшего изъяна, — какой я использовал для сокрушения доводов оппонентов, я бы сразу нацелился на этот логический пробел и отбросил свою позицию — если бы, конечно, захотел этого. Если бы относился к ней столь же предвзято, как к остальным позициям в этой дискуссии.

Но все это было до того, как я услышал о Канемане, до того, как узнал термин «мотивированный скептицизм», до того, как интегрировал концепцию единственно верного состояния неопределенности, суммирующего все имеющиеся