Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И теперь это объяснение того, почему убеждения требуют доказательств, тоже становится вражеским солдатом. Поэтому вы говорите: «Неверной с чрезвычайно высокой вероятностью? Но ведь шанс всё-таки есть, верно? Я не обязан верить, если нет абсолютной уверенности».

Или, возможно, вы и сами начинаете подозревать, что «убеждения требуют доказательств». Но это угрожает лжи, которая вам дорога; поэтому вы отвергаете внутренний рассвет и заталкиваете Солнце обратно за горизонт.

Или же вы раньше слышали изречение «убеждения требуют доказательств», оно показалось вам довольно мудрым, и вы публично с ним согласились. Но вам и в голову не приходило (пока кто-то другой не обратил на это ваше внимание), что это изречение может относиться к вашей вере в то, что у вас в гараже живёт дракон. И тогда вы быстро соображаете и говорите: «Дракон находится в отдельном магистериуме».

Иметь ложные убеждения — ничего хорошего, но это не обязательно должно наносить непоправимый вред, — если, обнаружив свою ошибку, вы просто оставляете её позади. Опасность заключается в наличии ложного убеждения, которое, как вы считаете, нужно защищать как убеждение, — веры в веру, вне зависимости от того, подкреплена ли она реальной верой.

Всего одна Ложь, Которую Нужно Защищать, может преградить человеку путь к продвинутой рациональности. Нет, это вовсе не безобидная забава.

Подобно тому как сам мир гораздо более переплетён, чем кажется на первый взгляд, правила рассуждения куда более строги и накладывают на убеждения гораздо более жёсткие ограничения, чем мог бы заподозрить неподготовленный ум. Мир соткан прочно и управляется общими законами — и точно так же устроены рациональные убеждения.

Подумайте о том, что потребовалось бы для отрицания эволюции или гелиоцентризма, — обо всех связанных истинах и управляющих законах, которые вам не было бы дозволено знать. Тогда вы сможете представить, как один-единственный акт самообмана способен заблокировать целый метауровень поиска истины, стоит лишь вашему разуму почувствовать угрозу при виде этих связей. Это закрывает путь ко всем промежуточным и высшим уровням Искусства рационалиста, создавая взамен огромный комплекс антизаконов, правил антимышления и универсальных оправданий для веры в ложь.

Стивен Каас сказал: «Распространение убеждений, не являющихся максимально точными, — это акт саботажа. Не делайте этого ни с кем, если только вы не готовы также проткнуть им шины». Всучить кому-то ложное убеждение, которое придётся защищать, — убедить его, что само это убеждение нужно оборонять от любой мысли, которая кажется угрозой, — что ж, этого не стоит делать с человеком, если только вы не готовы сделать ему фронтальную лоботомию.

Стоит вам однажды солгать, и истина становится вашим врагом; и любая истина, связанная с этой истиной, и любой союзник истины вообще — всему этому вы должны противостоять, чтобы защитить ложь. Лжёте ли вы другим или самому себе.

Вам приходится отрицать, что убеждения требуют доказательств, затем приходится отрицать, что карты должны отражать территории, а затем приходится отрицать, что истина — это благо...

Так рождается Тёмная сторона.

Меня беспокоит, что люди не осознают этого или недостаточно осторожны — что, блуждая по нашему человеческому миру, мы неизбежно будем сталкиваться с систематически плохой эпистемологией.

Разгуливающие повсюду мемы о том, «как надо думать», заготовленные мысли «Глубокой Мудрости» — что-то из этого окажется хорошим советом, придуманным рационалистами. Но другие идеи были созданы для защиты лжи или самообмана: они порождены Тёмной стороной.

«Каждый имеет право на собственное мнение». Если задуматься, где родилась эта поговорка? Сказал бы это кто-то ради защиты истины или ради защиты от истины? Но люди не настораживаются и не говорят: «Ага! Чувствую присутствие Тёмной стороны!» Насколько я могу судить, мало кто осознаёт, что Тёмная сторона действительно существует.

Да и как иначе? Обманываете ли вы других или только себя, Ложь, Которую Нужно Защищать, будет рекурсивно распространяться по сети эмпирических причинно-следственных связей, сети общих эмпирических правил, по самим правилам рассуждения и по пониманию, стоящему за этими правилами. Если в мире существует хорошая эпистемология, а также ложь или самообман, которые люди пытаются защитить, то возникнет и плохая эпистемология, чтобы противостоять хорошей. Едва ли в этом мире мы могли бы ожидать встретить Светлую сторону без Тёмной; есть Солнце, и есть то, что прячется от него, порождая укрывающую Тень.

Заметьте, эти люди не обязательно злонамеренны. Подавляющее большинство тех, кто раз за разом повторяет Глубокую Мудрость, скорее обмануты, чем двуличны, скорее сами впали в самообман, чем обманывают других. Мне так кажется.

И я, конечно же, не собираюсь предлагать вам Полностью Универсальный Контраргумент, чтобы всякий раз, когда кто-то предлагает вам эпистемологию, которая вам не нравится, вы говорили: «О, это придумал кто-то с Тёмной стороны». Одно из правил Светлой стороны гласит: вы должны опровергать само утверждение по существу, а не обвинять его автора в дурных намерениях.

Но Тёмная сторона существует. Страх — это путь, который ведёт к ней, и всего одно предательство может обратить вас. Не все, кто носит робы, либо джедаи, либо самозванцы; есть ещё и владыки ситхов, мастера и невольные ученики. Я вас предупредил, будьте начеку.

Что же касается перечисления расхожих мемов, порождённых Тёмной стороной, — заметьте, не просто случайных ложных убеждений, а плохой эпистемологии, этих Шаблонных Защит Провала, — что ж, дорогие читатели, не желаете ли попробовать свои силы?

*

Часть H. Против двоемыслия.

81. Одномыслие. Я помню тот самый миг, когда начался мой путь рационалиста.

Это случилось не во время чтения «Вы, конечно, шутите, мистер Фейнман!» или какой-либо другой книги о рациональности, ибо изложенное в них я принимал как нечто само собой разумеющееся. Путь начинается тогда, когда замечаешь серьезное несовершенство в своем текущем искусстве и ощущаешь стремление стать лучше — создавать новые навыки, выходящие за рамки тех полезных, но недостаточных, что были найдены в книгах.

В последние мгновения моей первой жизни мне было пятнадцать лет, и я прокручивал в памяти приятное, преисполненное собственной праведности воспоминание из далекого детства. Мои воспоминания о столь раннем возрасте смутные: в голове стоит картинка, но сколько точно мне было лет, я не помню. Думаю, лет шесть или семь, а само событие произошло в летнем лагере.

А произошло изначально вот что: вожатый, парень-подросток, выстроил нас, ребят