Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Марк задумывается над этим. — Звучит довольно неправдоподобно, — говорит он наконец. — А вы не думали использовать гадальные палочки? Гадальные палочки непогрешимы — или, по крайней мере, любого, кто заявляет об их погрешимости, сжигают на костре. Это крайне мучительная смерть; отсюда следует, что гадальные палочки непогрешимы.

— Можешь пользоваться гадальными палочками, если хочешь, — говорю я.

— О боже, конечно нет, — говорит Марк. — Они работают безотказно, с абсолютным совершенством в любом случае, как и подобает столь благословенным инструментам; но что, если на следующее утро найдется мертвая овца? Я использую гадальные палочки только тогда, когда нет никакой возможности доказать их неправоту. Иначе меня могут сжечь заживо. Так как же работает ваше волшебное ведро?

Как работает ведро?.. Лучше начать с простейшего случая. — Ну, — говорю я, — предположим, пастбища пусты, а ведро нет. Тогда мы потратим часы на поиски овцы, которой там нет. А если на пастбищах есть овцы, но ведро пусто, мы с Отри отправимся на покой слишком рано и на следующее утро найдем мертвых овец. Так что пустое ведро волшебно тогда и только тогда, когда пастбища пусты...

— Погоди, — говорит Отри. — Как по мне, это звучит как пустая тавтология. Разве пустое ведро и пустые пастбища — это не очевидно одно и то же?

— Это не пустая тавтология, — говорю я. — Вот аналогия: логик Альфред Тарский как-то сказал, что утверждение «Снег бел» истинно тогда и только тогда, когда снег бел. Если ты в состоянии это понять, то должен увидеть, почему пустое ведро волшебно тогда и только тогда, когда на пастбищах нет овец.

— Постойте, — говорит Марк. — Это же ведра. Они не имеют никакого отношения к овцам. Ведра и овцы — очевидно совершенно разные вещи. Овцы никак не могут взаимодействовать с ведром.

— Тогда откуда, как ты думаешь, берется магия? — интересуется Отри.

Марк задумывается. — Вы говорили, что можно сравнить два ведра и проверить, одинаковый ли в них уровень... Я понимаю, как ведра могут взаимодействовать с ведрами. Возможно, когда у вас собирается большая коллекция ведер и во всех них одинаковый уровень, именно это и порождает магию. Я назову это когерентистской теорией волшебных ведер.

— Интересно, — говорит Отри. — Я знаю, что мой мастер работает над системой с несколькими ведрами — он говорит, она может работать лучше благодаря «избыточности» и «исправлению ошибок». Как по мне, это очень похоже на когерентизм.

— Это не совсем одно и то же... — начинаю говорить я.

— Давайте проверим когерентистскую теорию магии, — предлагает Отри. — Я вижу, у тебя в заднем кармане есть еще пять ведер. Я передам тебе ведро, которым мы пользуемся, и ты сможешь наполнить остальные свои ведра до того же уровня...

Марк в ужасе отпрянул. — Стой! Эти ведра передавались в моей семье из поколения в поколение, и в них всегда был один и тот же уровень! Если я приму твое ведро, моя коллекция ведер станет менее когерентной, и магия исчезнет!

— Но твои нынешние ведра не имеют никакого отношения к овцам! — протестует Отри.

Марк выглядит раздраженным. — Послушай, я же уже объяснял: очевидно, что овцы никак не могут взаимодействовать с ведрами. Ведра могут взаимодействовать только с другими ведрами.

— Я бросаю камешек всякий раз, когда проходит овца, — замечаю я.

— Когда проходит овца, ты бросаю камешек? — удивляется Марк. — При чем тут вообще это?

— Это взаимодействие между овцами и камешками, — отвечаю я.

— Нет, это взаимодействие между камешками и тобой, — возражает Марк. — Магия исходит не от овец, она исходит от тебя. Простые овцы очевидно не обладают магией. Магия должна исходить откуда-то по пути к ведру.

Я указываю на деревянный механизм, закрепленный на воротах. — Видишь тот лоскут ткани, свисающий с деревянной штуковины? Мы все еще возимся с ним — он работает ненадежно, — но когда овцы проходят мимо, они задевают ткань. Когда ткань отодвигается, камешек выпадает из резервуара и падает в ведро. Таким образом, нам с Отри не придется бросать камешки самим.

Марк хмурит брови. — Я не совсем тебя понимаю... Неужели ткань волшебная?

Я пожимаю плечами. — Я заказал ее в интернете у компании под названием «Естественный отбор». Ткань называется «Сенсорная модальность». — Я умолкаю, видя недоверчивые выражения лиц Марка и Отри. — Признаю, названия немного в стиле нью-эйдж. Но суть в том, что проходящая овца запускает причинно-следственную цепочку, которая заканчивается падением камешка в ведро. После этого ты можешь сравнивать это ведро с другими и так далее.

— Я все равно не понимаю, — говорит Марк. — Ты не можешь засунуть овцу в ведро. В ведра попадают только камешки, и очевидно, что камешки взаимодействуют только с другими камешками.

— Овцы взаимодействуют с вещами, которые взаимодействуют с камешками... — Я пытаюсь подобрать аналогию. — Представь, что ты смотришь себе под ноги на шнурки. Фотон покидает Солнце, затем проходит сквозь земную атмосферу, отражается от твоих шнурков, проходит через зрачок твоего глаза, падает на сетчатку и поглощается палочкой или колбочкой. Энергия фотона заставляет связанный нейрон сработать, что приводит к срабатыванию других нейронов. Паттерн нейронной активации в твоей зрительной коре может взаимодействовать с твоими убеждениями о шнурках, поскольку убеждения о шнурках тоже существуют на нейронном субстрате. Если ты способен это понять, то должен увидеть и то, как проходящая овца заставляет камешек упасть в ведро.

— В какой именно момент этого процесса камешек становится волшебным? — спрашивает Марк.

— Он... ну... — Теперь я и сам начинаю путаться. Я трясу головой, чтобы стряхнуть паутину с мыслей. Сегодня утром, когда я проснулся, все это казалось довольно простым, да и система камешков и ведра с тех пор сложнее не стала. — Это гораздо проще понять, если помнить, что цель всей системы — вести учет овец.

Марк печально вздыхает. — Забудь... очевидно, ты и сам не знаешь. Может быть, все камешки волшебные изначально, еще до того, как попадут в ведро. Мы могли бы назвать эту позицию панпебблизмом.

— Ха! — говорит Отри, и в его голосе сквозит глубокое презрение. — Чистейшее принятие желаемого за действительное! Не все камешки созданы равными. Камешки в твоем ведре не волшебные. Это всего лишь куски