Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

аккуратно подчеркивал, что точки зрения Синих и Зеленых одинаково обоснованны и заслуживают терпимости: небо — это метафизический конструкт, а лазурный — цвет, который можно воспринимать по-разному. На мгновение Чарльз задумался: а не увидит ли Зеленый, стоя на этом самом месте, зеленый потолок? Или, быть может, завтра в это же время потолок окажется зеленым? Но он не мог поставить на карту дальнейшее выживание цивилизации. Это было всего лишь некое природное явление, не имеющее никакого отношения к моральной философии или обществу... но Чарльз опасался, что его могут истолковать превратно. Чарльз вздохнул и повернул обратно в коридор. Завтра он вернется сюда один и завалит этот проход.

Дарья, некогда Зеленая, пыталась дышать среди пепла своего рухнувшего мира. «Я не дрогну», — сказала себе Дарья, «я не отведу взгляд». Всю жизнь она была Зеленой, а теперь должна стать Синей. Друзья, родные — все отвернутся от нее. «Говори правду, даже если твой голос дрожит», — говорил ей когда-то отец; но отец был мертв, а мать никогда не поймет. Дарья выдерживала спокойный синий взгляд неба, стараясь принять его, и наконец ее дыхание выровнялось. «Я ошибалась», — с грустью подумала она, «все ведь совсем не так сложно». Она найдет новых друзей, и, возможно, семья простит ее... или же — промелькнула у нее робкая надежда — они тоже справятся с этим испытанием, встав под этим самым небом? — Небо синее, — на пробу произнесла Дарья, и ничего страшного с ней не случилось; но улыбнуться она так и не смогла. Дарья-Синяя со вздохом пошла обратно в мир, гадая, что теперь скажет.

Эддин, Зеленый, взглянул на синее небо и цинично расхохотался. Весь ход истории его мира наконец-то стал ясен; ему самому не верилось, какими же они были дураками. — Глупо, — произнес Эддин, — глупо, глупо, и все это время оно находилось прямо здесь. Ненависть, убийства, войны — и всё это время это была всего лишь какая-то вещь где-то там, о которой кто-то написал точно так же, как пишут о любой другой вещи. Никакой поэзии, никакой красоты, ничего, до чего разумному человеку могло бы быть дело — просто один бессмысленный факт, раздутый до невероятных масштабов. Эддин устало прислонился к стене у входа в пещеру, пытаясь придумать, как удержать это знание от того, чтобы оно взорвало мир, и размышляя, а не заслужили ли они все этого.

Феррис невольно ахнул, замерев от чистого изумления и восторга. Глаза Ферриса жадно метались из стороны в сторону, поочередно задерживаясь на каждой детали и лишь неохотно переходя к следующей: синее небо, белые облака, бескрайний неведомый мир снаружи, полный мест и вещей (и людей?), которых не видел еще ни один житель Подземелья. — О, так вот какого оно цвета, — сказал Феррис и пошел исследовать местность.

*

1. Прокопий Кесарийский, История войн, под ред. Генри Б. Дьюинга, т. 1 (Harvard University Press, 1914).

2. Эдуард Гиббон, История упадка и разрушения Римской империи, т. 4 (J. & J. Harper, 1829).

13. Вера в веру.

Карл Саган однажды рассказал притчу о человеке, который приходит к нам и заявляет: «В моём гараже живёт дракон». Любопытно! Мы отвечаем, что хотим посмотреть на этого дракона — давайте же немедленно отправимся в гараж! «Но постойте, — говорит нам заявитель, — этот дракон невидимый».

И, как указывает Саган, это ещё не делает гипотезу нефальсифицируемой. Возможно, мы придём в гараж заявителя и, хотя никакого дракона не увидим, услышим тяжёлое дыхание, исходящее из пустоты; на полу загадочным образом будут появляться следы; а приборы покажут, что кто-то в гараже поглощает кислород и выделяет углекислый газ.

Но теперь представьте, что мы говорим заявителю: «Ладно, мы сходим в гараж и проверим, слышно ли тяжёлое дыхание», а тот поспешно возражает, что этот дракон неслышимый. Мы предлагаем измерить уровень углекислого газа в воздухе, а заявитель говорит, что дракон не дышит. Мы предлагаем распылить в воздухе муку, чтобы по её контурам обнаружить невидимого дракона, а заявитель тут же отвечает: «Дракон проницаем для муки».

Карл Саган использовал эту притчу, чтобы проиллюстрировать классическую мораль: несостоятельным гипотезам приходится быстро изворачиваться на ходу, чтобы избежать опровержения. Но я рассказываю её ради другого вывода: у заявителя где-то в голове должна быть точная модель ситуации, ведь он способен заранее предвидеть, для каких именно результатов эксперимента ему придётся придумывать оправдания.

Некоторые философы были сильно сбиты с толку подобными сценариями, задаваясь вопросом: «А верит ли заявитель на самом деле в то, что дракон существует, или нет?» Как будто на «жёстком диске» человеческого мозга может одновременно храниться только одно убеждение! Реальный разум устроен гораздо запутаннее. Существуют разные типы убеждений; не все они сводятся к прямым ожиданиям. Заявитель явно не ожидает увидеть что-то необычное, когда откроет дверь гаража. Иначе он не стал бы заранее искать оправдания. В то же время в его наборе пропозициональных убеждений вполне может содержаться фраза «В моём гараже живёт дракон». Рационалисту может показаться, что эти два убеждения должны столкнуться и войти в конфликт, пусть даже они разного типа. И всё же физический факт состоит в том, что вы можете написать «Небо зелёное!» рядом с картинкой голубого неба, и бумага при этом не загорится.

Рационалистическая добродетель эмпиризма призвана уберечь нас от ошибок подобного рода. Предполагается, что мы должны постоянно спрашивать свои убеждения, какой именно чувственный опыт они предсказывают, — заставлять их платить аренду своими ожиданиями. Но проблема заявителя с драконом лежит глубже, и её не решить таким простым советом. Связать веру в дракона с ожидаемым опытом посещения гаража не то чтобы трудно. Если вы верите, что в вашем гараже есть дракон, то логично ожидать, что вы откроете дверь и увидите дракона. Если дракона вы не видите, значит, никакого дракона в гараже нет. Всё довольно просто. Можете даже проверить это на собственном гараже.

Нет, вся эта история с невидимостью — симптом куда более серьёзной проблемы.

В зависимости от того, как прошло ваше детство, вы можете помнить период, когда впервые начали сомневаться в существовании Деда Мороза, но всё ещё считали, что должны в него верить, а потому пытались гнать сомнения прочь. Как отмечает Дэниел Деннет, когда во что-то трудно поверить, часто гораздо проще поверить, что вы должны в это верить. Что значит верить, будто Абсолютное Космическое