Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Лицо Марка становится суровым. — Вот теперь, — восклицает он, — теперь ты видишь, на какую опасную стезю ты ступил! Как только ты заявляешь, будто у одних людей камешки волшебные, а у других нет, гордыня поглотит тебя! Ты сочтешь себя выше всех остальных и падешь! На протяжении истории многие пытали и убивали только потому, что считали свои камешки превосходящими другие! — В голосе Марка появляется оттенок снисхождения. — Поклонение уровню камешков как «волшебному» подразумевает, что существует некий абсолютный уровень камешков в Верховном Ведре. В наше время никто уже не верит в Верховное Ведро.

— Во-первых, — говорю я. — Овцы — это не абсолютные камешки. Во-вторых, я не думаю, будто в моем ведре на самом деле сидят овцы. В-третьих, я не поклоняюсь уровню в своем ведре как идеальному — я иногда его корректирую, и делаю это потому, что мне не безразличны овцы.

— К тому же, — добавляет Отри, — тот, кто считает, будто обладание абсолютными камешками оправдывало бы пытки и убийства, совершает ошибку, которая вообще никак не связана с ведрами. Ты решаешь не ту проблему.

Марк успокаивается. — Полагаю, глупо было ожидать чего-то большего от простых пастухов. Вы ведь, небось, и в то, что снег белый, верите?

— Гм... ну да? — говорит Отри.

— И вас не смущает, что Иосиф Сталин тоже верил, что снег белый?

— Гм... нет? — говорит Отри.

Марк недоверчиво смотрит на Отри и в конце концов пожимает плечами. — Предположим, чисто ради спора, что ваши камешки волшебные, а мои нет. Можете вы сказать мне, в чем разница?

— Мои камешки репрезентируют овец! — торжествующе произносит Отри. — Твои камешки не обладают свойством репрезентативности, поэтому они не сработают. В них нет смысла. Просто посмотри на них. Никакого ореола семантического содержания, просто камешки. Тебе нужно ведро с особыми причинными силами.

— А! — говорит Марк. — Особые причинные силы вместо магии.

— Именно, — говорит Отри. — Я не суеверен. Постулирование магии в наш век было бы неприемлемо для международного пастушьего сообщества. Мы обнаружили, что постулирование магии просто-напросто не работает как объяснение пастушьих явлений. Поэтому, когда я вижу то, чего не понимаю, и хочу объяснить это с помощью модели без внутренних деталей, которая не делает никаких предсказаний даже задним числом, я постулирую особые причинные силы. Если это не сработает, я перейду к тому, что назову это эмерджентным феноменом.

— Какими именно особыми силами обладает это ведро? — спрашивает Марк.

— Гм, — задумывается Отри. — Может быть, это ведро наделено отношением «о-чём-ности» к пастбищам. Это объяснило бы, почему оно работает: когда ведро пусто, это означает, что и пастбища пусты.

— Где ты нашел это ведро? — спрашивает Марк. — И как ты понял, что оно обладает отношением «о-чём-ности» к пастбищам?

— Это обычное ведро, — говорю я. — Я в детстве лазил с ним по деревьям... Не думаю, что этот вопрос должен быть сложным.

— Я разговариваю с Отри, — говорит Марк.

— Нужно привязать ведро к пастбищам, а камешки — к овцам с помощью магического ритуала... прошу прощения, эмерджентного процесса с особыми причинными силами, который открыл мой мастер, — объясняет Отри.

Затем Отри пытается описать ритуал, а Марк понимающе кивает с мудрым видом.

— То есть ты должен бросать камешек каждый раз, когда овца выходит за ворота? — уточняет Марк. — И вынимать камешек каждый раз, когда овца возвращается?

Отри кивает: — Да.

— Это, должно быть, очень тяжело, — сочувственно говорит Марк.

Отри приободряется, впитывая сочувствие Марка, словно долгожданный дождь. — Вот именно! — соглашается Отри. — Это крайне тяжело эмоционально. Когда в ведре долго держится один и тот же уровень, ты... как-то привязываешься к этому уровню.

В этот момент мимо проходит овца, выходя за ворота. Отри видит это, наклоняется, поднимает камешек и высоко поднимает его в воздух. — Узрите! — провозглашает Отри. — Овца прошла! Теперь я должен бросить камешек в это ведро, мое дорогое ведро, разрушив тот милый сердцу уровень, что держался так долго... — Проходит еще одна овца. Отри, увлеченный своей драмой, упускает ее из виду, поэтому я сам бросаю камешек в ведро. Отри продолжает говорить: — ...ибо в этом и заключается высшее испытание для пастуха — бросить камешек, как бы мучительно это ни было, как бы ни был дорог прежний уровень. Поистине, лишь лучшие из пастухов способны выдержать столь суровое испытание...

— Отри, — говорю я, — если ты хочешь когда-нибудь стать великим пастухом, научись помалкивать и просто бросать камешек. Без суеты. Без драмы. Просто делай это.

— И этот ритуал, — говорит Марк, — связывает камешки с овцами по магическим законам Симпатии и Контагия, словно кукла вуду.

Отри морщится и оглядывается по сторонам. — Пожалуйста! Не называй это Симпатией и Контагием. Мы, пастухи, народ несуеверный. Используй слово «интенциональность» или что-то в этом роде.

— Можно мне посмотреть на камешек? — спрашивает Марк.

— Конечно, — отвечаю я. Я достаю один из камешков из ведра и бросаю его Марку. Затем наклоняюсь к земле, поднимаю другой камешек и бросаю его в ведро.

Отри недоуменно смотрит на меня. — Разве ты только что всё не испортил?

Я пожимаю плечами. — Не думаю. Мы поймем, что я всё испортил, если завтра утром найдем мертвую овцу или если будем искать несколько часов и не найдем ни одной овцы.

— Но... — говорит Отри.

— Я научил тебя всему, что знаешь ты, но я не научил тебя всему, что знаю я, — говорю я.

Марк разглядывает камешек, пристально на него смотря. Он держит руку над камешком и бормочет несколько слов, а затем качает головой. — Я не чувствую никакой магической силы, — говорит он. — Прошу прощения. Я не чувствую никакой интенциональности.

— Камешек обладает интенциональностью, только если он находится внутри ма... эмерджентного ведра, — говорит Отри. — Иначе это просто обычный камешек.

— Не проблема, — говорю я. Я вынимаю камешек из ведра и отбрасываю его в сторону. Затем подхожу к Марку, касаюсь его руки с камешком и говорю: — Объявляю эту руку частью волшебного ведра! — После чего возвращаюсь на свой пост у ворот.

Отри смеется. — Ну, сейчас ты просто беспричинно злодействуешь.

Я киваю, ибо так оно и есть на