Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

и она не сбежала). Но просто вернуться и затем бесцельно плыть по течению, ожидая, когда попадешь в чью-то чужую сеть интриг... нет. Это не казалось... достаточным.

Бреннан сорвал травинку и уставился на нее, полубессознательно пытаясь найти в ней хоть что-то интересное; старая-престарая игра, которой обучил его самый первый учитель, казалось, целую вечность назад.

Почему я поверил, что путешествие к Зеркальной горе подскажет мне, чего я хочу?

Что ж, теория решений действительно требовала, чтобы твоя функция полезности была непротиворечивой, но...

Если бы бейсуцаи знали, чего я хочу, стали бы они мне говорить?

В монастыре учили сомнению. И теперь он пал жертвой третьего греха из тех, о которых говорил Джеффриссай: потеря темпа, именно так. Ибо он научился ставить под сомнение образ самого себя, который держал в голове.

Ты ищешь власти, потому что это твое истинное желание, Бреннан?

Или потому, что в твоем разуме есть образ роли честолюбивого юноши, которую ты играешь, и ты думаешь, что именно так должен поступать тот, кто играет твою роль?

Почти все, что он делал до сих пор, даже поход к Зеркальной горе, по всей видимости, относилось ко второму.

И когда он отбросил старые мысли и попытался взглянуть на проблему словно в первый раз...

...ничего особенного на ум не приходило.

Чего я хочу?

Пожалуй, глупо было ожидать, что бейсуцаи скажут ему об этом прямо. Но научили ли они его чему-то, с помощью чего он мог бы найти ответ?

Бреннан закрыл глаза и задумался.

Во-первых, предположим, что есть нечто, чего я страстно желаю. Почему я не знаю, что это?

Потому что я еще не сталкивался с этим или даже не представлял себе?

Или потому, что есть какая-то причина, по которой я не хочу признаваться себе в этом?

Тут Бреннан громко рассмеялся и открыл глаза.

Так просто, если подумать об этом в таком ключе. Так очевидно, оглядываясь назад. Вот что они называли моментом серебряных башмачков, и все же, если бы он не отправился к Зеркальной горе, ему бы это никогда и в голову не пришло.

Конечно же, было кое-что, чего он хотел. Он точно знал, чего хочет. Хотел так отчаянно, что ощущал этот вкус как острый привкус на языке.

Просто раньше это не приходило ему в голову, потому что... если бы он прямо признал свое желание... ему пришлось бы также признать, что это трудно. Высоко, высоко над ним. Далеко за пределами его досягаемости. Первым на ум приходило слово «невозможно», хотя невозможным это, конечно же, не было.

Но стоило ему спросить себя, предпочитает ли он бесцельно блуждать по жизни — когда вопрос ставился именно так, ответ становился очевидным. Погоня за недостижимым сделает жизнь трудной, но не грустной. Он в любом случае мог бы найти вещи, приносящие ему радость. И в конце концов — это действительно было тем, чего он хотел.

Бреннан встал и сделал первые шаги в направлении Шир Л’ор — города, лежащего в самом центре мира. Ему предстояло выносить заговор, и он еще не знал, кто станет его частью.

И тут Бреннан споткнулся, когда понял, что Джеффриссай обо всем знал заранее.

По крайней мере один из вас, скорее всего, вернется...

Бреннан думал, что тот говорит о Тадзи. Тадзи, вероятно, тоже думал, что тот говорит о Тадзи. Ведь именно этого, по словам Тадзи, он и хотел. Но насколько надежным показателем это было на самом деле?

Однако существовала пословица о той самой дороге, которую он только что покинул: «Кто бы ни отправился от Зеркальной горы на поиски невозможного, он непременно вернется».

Если принять во внимание последнее предупреждение Джеффриссая — а также то, что пословица умалчивала о достижении успеха в самом этом невозможном деле, — это изречение оказывалось менее оптимистичным, чем казалось на первый взгляд.

Бреннан в изумлении покачал головой. Как вообще Джеффриссай мог узнать об этом раньше самого Бреннана?

Что ж, начиная с определенного момента бесполезно задаваться вопросом, откуда мастер-бейсуцай знает о чем-то —

Бреннан осекся на полумысли.

Нет.

Нет, если он сам когда-нибудь собирается стать мастером-бейсуцаем, то ему следует в этом разобраться.

Бреннан понял, что это была глупая пословица.

И он пошел вперед, на этот раз тщательно все обдумывая.

А солнце садилось, красно-золотое, окрашивая его шаги светом.

*

Часть Z. Ремесло и сообщество.

312. Повышение ватерлинии здравомыслия.

Перефразируя Байесовца с чёрным поясом: за каждым захватывающим, драматичным провалом кроется куда более важная история о более масштабном и менее драматичном провале, который и сделал первый провал возможным.

Если бы завтра из мира волшебным образом исчезли все следы религии, то — насколько бы ни улучшилась жизнь многих людей — мы бы и близко не подошли к исправлению тех более масштабных сбоев в здравомыслии, которые изначально сделали религию возможной.

У нас есть веские причины тратить часть сил на попытки искоренить религию напрямую, потому что она действительно является прямой проблемой. Но религия также выполняет функцию задохнувшейся канарейки в угольной шахте — религия является признаком, симптомом более глубоких проблем, которые не исчезают просто от того, что кто-то теряет веру.

Представьте себе такой мысленный эксперимент: чему вы могли бы научить людей — чему-то, что напрямую не связано с религией, но является истинным и полезным в качестве общего метода рациональности, — что заставило бы их отказаться от своих религий? Более того, представьте, что через пять лет мы собираемся опросить всех ваших учеников и посмотреть, сколько из них отказались от религии по сравнению с контрольной группой. Если вы сделаете хоть малейшую попытку бороться с религией напрямую, вы нарушите чистоту эксперимента. В классе нельзя ни разу упоминать религию или религиозные верования; нельзя даже намекать на них сколько-нибудь очевидным образом. Все ваши примеры должны быть сосредоточены на реальных случаях, не имеющих к религии никакого отношения.

Если вы не можете бороться с религией напрямую, чему же вы будете учить, чтобы поднять общую ватерлинию здравомыслия до такой степени, чтобы религия ушла под воду?

Вот некоторые из тем, которые я уже затрагивал (правда, не избегая упоминаний о религии, но это вполне можно было бы устроить):

Аффективные спирали смерти — здесь полно примеров, не связанных со сверхъестественным.

Как избегать кэшированных мыслей и фальшивой мудрости; давление конформизма.

Свидетельства и