Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— Но неужели это действительно сработает? — спрашивает Отри.

Я снова киваю, надеясь, что я прав. Раньше я проделывал такое с двумя ведрами, и, в принципе, между рукой Марка и ведром не должно быть никакой разницы. Даже если рука Марка наделена élan vital, отличающей живую материю от неживой, фокус должен сработать точно так же, как если бы Марк был мраморной статуей.

Марк смотрит на свою руку, слегка растерянный. — Значит... теперь у камешка снова есть интенциональность?

— Ага, — говорю я. — Только не добавляй больше камешков себе в руку и не выбрасывай тот, что есть, иначе нарушишь ритуал.

Марк торжественно кивает. Затем он снова принимается за осмотр камешка. — Теперь я понимаю, как твои стада стали такими огромными, — говорит Марк. — С силой этого ведра ты мог бы продолжать бросать камешки, и овцы продолжали бы возвращаться с пастбищ. Ты мог бы начать всего с нескольких овец, позволить им уйти, а затем наполнить ведро до краев до их возвращения. А если бы пасти столько овец стало в тягость, ты мог бы позволить им всем уйти, а затем выбросить почти все камешки из ведра, так чтобы вернулись лишь немногие... и снова увеличить стада, когда придет время стрижки... Боже правый, человек! Осознаешь ли ты всю мощь этого ритуала, который ты открыл? Я могу лишь догадываться о последствиях; человечество могло бы совершить прыжок на десятилетие — нет, на целый век вперед!

— Это так не работает, — говорю я. — Если ты добавишь камешек, когда овца не уходила, или уберешь камешек, когда овца не возвращалась, это нарушит ритуал. Сила не задерживается в камешках, а исчезает мгновенно, лопаясь, как мыльный пузырь.

Лицо Марка выражает глубочайшее разочарование. — Ты уверен?

Я киваю. — Я пробовал, не сработало.

Марк тяжело вздыхает. — А эта... математика... казалась такой могущественной и полезной до этого момента... Что ж. Прощай, человеческий прогресс.

— Марк, это была блестящая идея, — подбадривает его Отри. — Мне эта мысль даже в голову не пришла, а ведь она так очевидна... это сберегло бы огромное количество усилий... должен же быть способ спасти твой план! Мы могли бы попробовать другие ведра в поисках того, которое удержит магическую си... интенциональность в камешках даже без ритуала. Или попробовать другие камешки. Может, у наших просто неподходящие свойства, чтобы обладать врожденной интенциональностью. Что если попробовать использовать камни, вырезанные в форме крошечных овечек? Или просто написать на камешках слово «овца» — возможно, этого будет достаточно.

— Не сработает, — сухо предсказываю я.

Отри продолжает: — Может, нам нужны органические камешки вместо кремниевых... или, может, нужно использовать дорогие драгоценные камни. Цена на драгоценные камни удваивается каждые восемнадцать месяцев, так что можно купить горсть дешевых камней сейчас, подождать, и через двадцать лет они будут стоить очень дорого.

— Ты пробовал добавлять камешки, чтобы создать больше овец, и это не сработало? — спрашивает меня Марк. — Что именно ты сделал?

— Я взял стопку долларовых купюр. Затем спрятал эти купюры под складку одеяла одну за другой; каждый раз, пряча очередную купюру, я брал из коробки канцелярскую скрепку, собирая их в небольшую кучку. Я старался не вести счет в уме, так что знал лишь то, что долларовых купюр было «много», и скрепок тоже было «много». Затем, когда все купюры были спрятаны под одеялом, я добавил к кучке одну лишнюю скрепку — это было эквивалентно бросанию лишнего камешка в ведро. После этого я начал доставать долларовые купюры из-под складки и возвращать скрепки обратно в коробку. Когда я закончил, осталась одна лишняя скрепка.

— И что означает этот результат? — спрашивает Отри.

— Это значит, что фокус не удался. Стоило мне нарушить ритуал этим единственным неверным шагом, как сила не задержалась, а мгновенно исчезла; кучка скрепок и стопка долларов больше не закончились одновременно.

— Ты на самом деле это попробовал? — спрашивает Марк.

— Да, — говорю я. — Я действительно провел эксперимент, чтобы убедиться, что результат соответствует моему теоретическому предсказанию. Я питаю сентиментальную слабость к научному методу, даже когда он кажется нелепым. К тому же, а вдруг я был неправ?

— Если бы это сработало, — говорит Марк, — ты был бы виновен в фальшивомонетничестве! Представь, если бы так делали все; экономика бы рухнула! У каждого были бы миллиарды долларов, но на эти деньги нечего было бы купить!

— Вовсе нет, — отвечаю я. — По той же логике, согласно которой добавление еще одной скрепки в кучку создает еще одну долларовую купюру, создание еще одной долларовой купюры создавало бы дополнительные товары и услуги стоимостью в доллар.

Марк качает головой: — Фальшивомонетничество — всё равно преступление… Тебе не следовало и пытаться.

— Я был достаточно уверен, что у меня ничего не выйдет.

— Ага! — восклицает Марк. — Ты ожидал неудачи! Ты не верил, что сможешь это сделать!

— Действительно, — признаю я. — Ты угадал мои ожидания с потрясающей точностью.

— Ну, в этом и проблема, — живо говорит Марк. — Магия питается верой и силой воли. Если ты не веришь, что сможешь это сделать, то и не сможешь. Тебе нужно изменить свою веру в результат эксперимента; это изменит сам результат.

— Забавно, — говорю я с ностальгией, — Отри сказал то же самое, когда я рассказал ему о методе ведра и камешков. Что это слишком нелепо, чтобы он мог в это поверить, поэтому у него это не сработает.

— И как ты его убедил? — интересуется Марк.

— Я сказал ему заткнуться и следовать инструкциям, — говорю я, — и когда метод сработал, Отри начал в него верить.

Марк хмурится в недоумении. — Это не имеет смысла. Это не разрешает фундаментальную дилемму курицы и яйца.

— Еще как разрешает. Метод ведра работает независимо от того, веришь ты в него или нет.

— Это абсурд! — задыхается от возмущения Марк. — Я не верю в магию, которая работает независимо от того, веришь ты в нее или нет!

— Я тоже так говорил, — вставляет Отри. — Очевидно, я был неправ.

Марк напряженно морщится. — Но… если ты не верил в магию, которая работает независимо от того, веришь ты в нее или нет, почему тогда метод ведра сработал, когда ты в него не верил?