Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Как-то днем по песчаной тропе, ведущей к моим пастбищам, бредет человек, богато одетый в белые одежды, увенчанный лавровым венком, в сандалиях и деловом костюме.

— Могу я вам помочь? — интересуюсь я.

Мужчина достает из пальто жетон и раскрывает его, доказывая вне всяких сомнений, что он — Маркос Софистикус Максимус, делегат Сената Рума. (Кто-то может спросить, не мог ли другой украсть этот жетон; но сила этих жетонов так велика, что если бы кто-то другой воспользовался ими, то в то же мгновение превратился бы в Маркоса.)

— Зовите меня Марк, — говорит он. — Я здесь для того, чтобы конфисковать волшебные камешки от имени Сената; артефакты столь великой силы не должны попасть в невежественные руки.

— Чертов подмастерье, — ворчу я себе под нос, — опять трепался с деревенскими. — Затем я смотрю на суровое лицо Марка и вздыхаю. — Это не волшебные камешки, — говорю я вслух. — Просто обычные камни, которые я подобрал с земли.

Тень замешательства пробегает по лицу Марка, но затем он снова сияет. — Тогда я здесь ради волшебного ведра! — заявляет он.

— Это не волшебное ведро, — устало говорю я. — Раньше я держал в нем грязные носки.

На лице Марка недоумение. — Тогда в чем же магия? — требует он ответа.

Интересный вопрос. — Трудно объяснить, — отвечаю я.

Мой нынешний подмастерье, Отри, привлеченный шумом, подходит ближе и вызывается объяснить: — Все дело в уровне камешков в ведре, — говорит Отри. — Есть волшебный уровень камешков, и нужно, чтобы уровень был абсолютно точным, иначе это не работает. Если бросить больше камешков или убрать часть, ведро больше не будет на волшебном уровне. Прямо сейчас волшебный уровень — это, — Отри заглядывает в ведро, — примерно на треть полно.

— Понятно! — взволнованно говорит Марк. Из заднего кармана он достает свое собственное ведро и кучу камешков. Затем он загребает несколько пригоршней камешков и засыпает их в ведро. После этого Марк заглядывает внутрь, отмечая, сколько там камешков. — Вот, — говорит Марк, — волшебный уровень этого ведра — наполовину полный. Так?

— Нет! — резко говорит Отри. — Наполовину полный — это не волшебный уровень. Волшебный уровень — это примерно на треть. Наполовину полный — определенно неволшебный. Кроме того, вы используете не то ведро.

Марк недоуменно поворачивается ко мне: — Я думал, ты сказал, что ведро не волшебное?

— Не волшебное, — отвечаю я. Одна овца выходит за ворота, и я бросаю еще один камешек в ведро. — К тому же я слежу за овцами. Поговори с Отри.

Марк с подозрением смотрит на камешек, который я бросил, но решает временно отложить этот вопрос. Марк поворачивается к Отри и высокомерно выпрямляется: — Это свободная страна, — говорит Марк, — разумеется, под благожелательной диктатурой Сената. Я могу бросать любые камешки, какие захочу, в любое ведро, какое захочу.

Отри обдумывает это. — Нет, не можете, — говорит он наконец, — тогда не будет никакой магии.

— Послушай, — терпеливо говорит Марк, — я внимательно за тобой наблюдал. Ты посмотрел в свое ведро, проверил уровень камешков и назвал его волшебным уровнем. Я сделал точно то же самое.

— Это работает не так, — говорит Отри.

— Ах, вот оно что, — говорит Марк. — Волшебным является не уровень камешков в моем ведре, а уровень камешков в твоем ведре. Ты это утверждаешь? И чем же твое ведро намного лучше моего, а?

— Ну, — говорит Отри, — если бы мы опорожнили ваше ведро, а затем пересыпали все камешки из моего ведра в ваше, то в вашем ведре установился бы волшебный уровень. Также существует процедура, с помощью которой мы можем проверить, имеет ли ваше ведро волшебный уровень, если мы знаем, что мое ведро имеет волшебный уровень; мы называем это операцией сравнения ведер.

Проходит еще одна овца, и я бросаю еще один камешек.

— Он только что бросил еще один камешек! — говорит Марк. — И, полагаю, ты утверждаешь, что новый уровень тоже волшебный? Я мог бы накидать камешков в твое ведро, пока уровень не сравнялся бы с моим, и тогда наши ведра пришли бы к согласию. Ты просто сравниваешь мое ведро со своим, чтобы определить, считаешь ли ты этот уровень «волшебным» или нет. Что ж, я считаю, что твое ведро не волшебное, потому что уровень камешков в нем не такой, как в моем. Вот так-то!

— Подождите, — говорит Отри, — вы не понимаете...

— Под «волшебным уровнем» ты понимаешь просто уровень камешков в своем собственном ведре. А когда я говорю «волшебный уровень», я имею в виду уровень камешков в моем ведре. Таким образом, ты смотришь на мое ведро и говоришь, что оно «не волшебное», но слово «волшебный» для разных людей означает разное. Тебе нужно уточнять, чья это магия. Тебе следовало бы сказать, что мое ведро не соответствует «волшебному уровню Отри», а я скажу, что твое ведро не соответствует «волшебному уровню Марка». И тогда видимое противоречие исчезает.

— Но... — беспомощно говорит Отри.

— У разных людей могут быть разные ведра с разным уровнем камешков, что доказывает: вся эта затея с «магией» совершенно произвольна и субъективна.

— Марк, — говорю я, — а тебе кто-нибудь говорил, что эти камешки делают?

— Делают? — удивляется Марк. — Я думал, они просто волшебные.

— Если бы эти камешки ничего не делали, — говорит Отри, — наш аудитор эффективности процессов ISO 9000 давно бы исключил эту процедуру из нашей ежедневной работы.

— Как зовут вашего аудитора?

— Дарвин, — говорит Отри.

— Хм, — говорит Марк. — У Чарльза действительно репутация строгого аудитора. Значит, камешки благословляют отары и приумножают число овец?

— Нет, — говорю я. — Полезное свойство камешков в следующем: если мы заглядываем в ведро и видим, что там нет камешков, то знаем, что и на пастбищах не осталось овец. Если мы не пользуемся ведром, нам приходится искать и искать до темноты, чтобы не оставить там какую-нибудь последнюю овечку. А если мы закончим работу раньше времени, то порой на следующее утро находим мертвую овцу, ведь волки загрызут любую, что осталась снаружи. Если же мы заглядываем в ведро, то