Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И я увидел, что риск, который я хотел допустить, убил бы меня. И я увидел, что эта возможность никогда не была для меня по-настоящему реальной. И я увидел, что даже если у тебя есть мудрые и превосходные аргументы в пользу риска, риску все равно позволено взять и убить тебя. Убить на самом деле.

Ибо значение имеет только действие, а не причины, по которым оно совершается. Если ты соберешь пистолет, зарядишь его, приставишь к своей голове и спустишь курок — пусть даже у тебя будут самые умные аргументы в пользу каждого шага, — тогда бах.

Я увидел, что только мое собственное незнание правил позволяло мне ратовать за продвижение вперед без полного знания этих правил; ибо если ты не знаешь правил, ты не можешь смоделировать штраф за незнание.

Я видел, что другие, все еще не знающие правил, говорили: «Я просто пойду и сделаю X»; и в той степени, в какой X вообще был осмысленным предложением, я понимал, что это приведет к взрыву; но они отвечали: «Я не знаю, почему это не может сработать». Я пытался объяснить им, насколько мала мишень в пространстве поиска, а они возражали: «Откуда у тебя такая уверенность, что я не выиграю в лотерею?», размахивая собственным невежеством, как дубиной.

И тогда я понял, что в своем прежнем состоянии невежества единственное, что я мог сделать, чтобы спастись, — это сказать: «Я не сделаю ни шагу вперед, пока точно не буду знать, что почва под ногами безопасна». И существует множество умных аргументов в пользу того, почему стоит наступить на участок земли, о котором неизвестно, заминирован ли он; но все они звучат гораздо менее умно после того, как вы посмотрите на место, куда предлагали и намеревались наступить, и увидите взрыв.

Я понял, что ты можешь сделать абсолютно все, что от тебя требовалось, а Природе все равно позволено тебя убить. Именно тогда рухнули остатки моего доверия. И именно тогда началось мое обучение как рационалиста.

*

302. Вне досягаемости Бога.

Это эссе чуточку мрачнее обычного, если судить по моим меркам. В нём рассматривается мысленный эксперимент, который я придумал, чтобы разбить вдребезги собственный оптимизм, после того как понял, что этот оптимизм сбивал меня с пути. Тем читателям, которым близки аргументы вроде «Важно сохранять свои когнитивные искажения, ведь они помогают нам оставаться счастливыми», пожалуй, стоит воздержаться от чтения. (Если только им не нужно защитить что-то важное, включая собственную жизнь.)

Итак! Оглядываясь назад на масштабы собственной глупости, я понял, что в её основе лежало неверие в уязвимость Будущего — нежелание признать, что всё действительно может закончиться плохо. И дело не в каком-то явном, пропозициональном вербальном убеждении. Скорее, это было нечто внутри, что упрямо продолжало верить — вопреки любым невзгодам, — что в конце концов всё будет хорошо.

Кто-то сочтёт это добродетелью (zettai daijobu da yo), а кто-то скажет, что это необходимо для психического здоровья.

Но мы живём не в таком мире. Мы живём в мире, который находится вне досягаемости Бога.

Я очень, очень давно не верю в Бога. Я вырос в ортодоксальной иудейской семье и помню последний раз, когда о чём-то просил Бога, хотя и не помню, сколько мне тогда было лет. Я просил за соседского мальчика — уже не помню, о чём именно, но что-то вроде «надеюсь, у него всё сложится хорошо» или, может быть, «надеюсь, он станет иудеем».

Я помню, каково это — иметь высшую силу, к которой можно воззвать, чтобы она позаботилась о вещах, с которыми я не могу справиться сам. Я не воспринимал это чувство как какое-то «тёплое», потому что мне не с чем было сравнивать. Я просто принимал это как должное.

И всё же я помню — пусть это и воспоминание из далёкого детства, — каково жить в концептуально невозможном возможном мире, где Бог существует. Существует на самом деле, так, как дети и рационалисты принимают все свои убеждения за чистую монету.

В мире, где Бог существует, вмешивается ли Он, чтобы оптимизировать абсолютно всё? Независимо от того, что раввины утверждают о фундаментальной природе реальности, операциональный ответ на этот вопрос, если воспринимать его всерьёз, — очевидно «нет». Вы не можете попросить Бога принести вам лимонад из холодильника вместо того, чтобы сходить за ним самому. Когда я верил в Бога по-детски серьёзно, очень давно, я в подобное не верил.

Постулирование подобного божественного бездействия не вызывает полноценного богословского кризиса. Если бы вы сказали мне: «Я создал доброжелательного сверхинтеллектуального пользователя нанотехнологий», а я бы сказал: «Дай мне банан», и банан бы не появился, это ещё не опровергло бы ваши слова. Человеческие родители тоже далеко не всегда делают всё, о чём их просят дети. Существуют неплохие аргументы в русле теории веселья (я и сам в них верю) против идеи о том, что лучшая помощь, которую можно предложить человеку, — это всегда немедленно давать ему всё, что он пожелает. Я не считаю, что эвдемония заключается в формулировании целей и их мгновенном достижении; я не хочу превращаться в простое «желающее существо», которому никогда не приходится планировать, действовать или думать.

Так что утверждение, будто Бог исполняет не все молитвы, — это не обязательно попытка защититься от фальсификации. Даже Дружественный ИИ может отвечать не на каждую просьбу.

Но очевидно, что существует какой-то порог ужаса, настолько кошмарный, что Бог обязательно вмешается. Я помню, что это ощущалось истиной, когда я верил по-детски.

Бог, который не вмешивается вообще, как бы плохо ни шли дела, — это очевидная попытка избежать фальсификации, защитить «веру в веру». Маленькие дети в глубине души не знают, что Бога на самом деле нет. Они действительно рассчитывают увидеть дракона в своём гараже. У них нет причин выдумывать любящего Бога, который никогда ничего не предпринимает. Где именно проходит граница достаточного кошмара? Даже ребёнок может поспорить о точном значении этого порога. Но, конечно, где-то Бог должен провести черту. Мало найдётся любящих родителей, которые, желая, чтобы их ребёнок вырос сильным и самостоятельным, позволят малышу попасть под машину.

Очевидный пример ужаса столь великого, что Бог не может его допустить, — это смерть. Настоящая смерть, уничтожение разума. Не думаю, что даже буддизм допускает подобное. Пока существует