Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

тем менее вероятным вам кажется, что следующий шаг вычислений принесет успех. В конце концов затраты на поиск превысят ожидаемую пользу, и вы прекратите его. В этот момент вы больше не можете утверждать, что сомневаетесь с пользой. Сомнение, которое не исследуется, с тем же успехом может не существовать. Любое сомнение существует для того, чтобы тем или иным способом уничтожить само себя. Неразрешенное сомнение — это пустая операция; оно не крутит колесо ни вперед, ни назад.

Если вы действительно верите самой религии (а не просто верите в неё), зачем вам велеть своим послушникам рассматривать сомнения, которые обречены умереть неисполненными? Это всё равно что заставлять студентов-физиков кропотливо сомневаться в том, что революция XX века могла быть ошибкой, а ньютоновская механика — верна с самого начала. Если вы в чем-то на самом деле не сомневаетесь, зачем притворяться, будто это так?

Потому что все мы хотим казаться рациональными — а сомнение широко считается добродетелью рационалиста. Но мало кто понимает, что для сомнения нужна конкретная причина или что неразрешенное сомнение — это пустая операция. Вместо этого люди думают, что дело в скромности, покорности, поддержании племенной статусной иерархии — практически та же проблема, что и со смирением, о котором я писал ранее. Публичная демонстрация сомнений ради того, чтобы убедить себя в собственной рациональности, принесет примерно столько же пользы, сколько ношение медицинского халата.

Чтобы избежать пустого декларирования сомнений, помните:

Рациональное сомнение существует для того, чтобы уничтожить целевое убеждение, и если оно этого не делает, то умирает неисполненным.

Рациональное сомнение возникает по конкретной причине, по которой убеждение может быть ошибочным.

Неразрешенное сомнение — это пустая операция.

Неисследованное сомнение с тем же успехом могло бы вообще не существовать.

Не следует гордиться самим фактом сомнения, хотя вы имеете полное право гордиться, когда только что закончили разрывать в клочья дорогое вам убеждение.

Хотя для того, чтобы взглянуть в лицо своим сомнениям, может потребоваться мужество, никогда не забывайте, что для идеального разума сомнение вообще не было бы пугающим.

*

125. Вы можете смотреть в лицо реальности. То, что истинно, уже есть. От признания этого хуже не становится. Если умалчивать об этом, оно никуда не денется. И поскольку это истина, именно с ней нам и предстоит иметь дело. Того, что ложно, просто нет, и этим нельзя жить.

Люди могут вынести то, что истинно,

ведь они уже это выносят.

—Юджин Джендлин

*

126. Медитация на любопытство. Первая добродетель — любопытство. — Двенадцать добродетелей рациональности. Как рационалисты, мы обязаны критиковать себя и сомневаться в своих убеждениях... не так ли?

Подумайте, что происходит с вами на психологическом уровне, когда вы начинаете со слов: «Мой долг — критиковать собственные убеждения». Роджер Желязны однажды провел различие между «желанием быть писателем» и «желанием писать». Марк Твен говорил: «Классика — это то, что каждый хочет иметь прочитанным, но никто не хочет читать». Критика себя из чувства долга приводит к тому, что вы хотите, чтобы исследование уже было проведено, чтобы потом иметь возможность сказать, что ваша вера не слепа. Но это совсем не то же самое, что желание исследовать.

Это может привести к мотивированной остановке исследования. Вы рассматриваете возражение, затем контраргумент к этому возражению, и на этом останавливаетесь. Вы повторяете это с несколькими возражениями, пока не почувствуете, что выполнили свой долг по исследованию, и на этом останавливаетесь. Вы достигли своей глубинной психологической цели: избавились от когнитивного диссонанса, который возник бы, если бы вы считали себя рационалистом, но знали при этом, что даже не пытались критиковать свое убеждение. Это можно назвать покупкой рационалистического удовлетворения — попыткой создать «приятное тепло» от выполненного долга.

В итоге заявляемый вами уровень вероятности окажется достаточно высоким, чтобы оправдать сохранение планов и убеждений, с которых вы начинали, но не настолько высоким, чтобы вызвать недоверие у вас самих или у других рационалистов.

Когда вы искренне любопытны, вас будет тянуть к поискам, которые кажутся наиболее многообещающими с точки зрения изменения убеждений, или к поискам, наименее похожим на те, что вы уже предпринимали. После этого ваше распределение вероятностей, скорее всего, не должно выглядеть так же, как в самом начале — сдвиги должны произойти, будь то в сторону увеличения или уменьшения; и любое направление одинаково устраивает вас, если вы действительно любопытны.

Сравните это с подсознательным мотивом удерживать поиск на знакомой территории, чтобы поскорее покончить с исследованием, чтобы вы могли оставить исследование позади и восстановить привычный баланс, на котором строятся ваши старые привычные планы и убеждения.

Что касается того, как, по-моему, должно выглядеть истинное любопытство и какой силой оно обладает, я отсылаю вас к «Басне о науке и политике». Каждый из персонажей призван проиллюстрировать разные уроки. Феррис, последний персонаж, воплощает в себе силу невинного любопытства: легкость и страстное стремление к свидетельствам.

Урсула К. Ле Гуин писала: «В невинности нет силы против зла. Но в ней есть сила для добра».1 Невинное любопытство может невинно заблуждаться, и поэтому обучение рационалиста и сопутствующая ему искушенность — это опасность, на которую нам нужно отважиться, если мы хотим стать сильнее. Тем не менее, мы можем постараться сохранить легкость и страстное стремление, свойственные невинности.

Как написано в «Двенадцати добродетелях»:

Если в глубине души вы верите, что уже знаете, или если в глубине души вы не хотите знать, то ваши расспросы будут бесцельными, а ваши навыки — лишенными направления. Любопытство стремится уничтожить само себя; нет такого любопытства, которое не желало бы ответа.

Истинному любопытству просто нет достойной замены. «Жгучий зуд познания выше торжественного обета стремиться к истине». Но нельзя вызвать любопытство одним лишь усилием воли, точно так же, как нельзя заставить замерзшую ногу согреться усилием воли. Иногда всё, что у нас есть, — это лишь наши торжественные обеты.

Так что же делать с чувством долга? Для начала мы можем попытаться проявить интерес к нашим проводимым из чувства долга исследованиям — внимательно следить за искрами подлинного интереса или даже подлинного невежества и желания его устранить. Это напрямую связано с тем, чтобы обращать особое внимание на болезненные возможности, от которых вы отворачиваетесь — и всё это не сводится к одному лишь негативному мышлению.

Также должно помочь размышление о Сохранении ожидаемого свидетельства. Для