Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

взойдёт в положенном месте и в положенной фазе, точь-в-точь как она делала каждую наблюдаемую ночь с момента появления астрономических записей, и в полном соответствии с предсказаниями физических теорий, чья точность ранее подтверждалась до четырнадцатого знака после запятой. И что же это за знание, которое непосвящённые ставят выше нашего, и почему? Вероятно, это какой-нибудь замшелый древний свиток, опровергнутый вдоль и поперёк всеми мыслимыми способами — и с воскресенья, и с понедельника, и в любой другой день недели. И всё же это надёжнее Науки (по их словам), потому что этот свиток никогда не признаёт ошибок и никогда не меняет своего мнения, сколько бы его ни опровергали. Они швыряются словом «уверенность» как теннисным мячиком, обращаясь с ним легко, словно с пёрышком, — в то время как учёных тяготит долг сомнения, заставляющий их бороться за достижение хотя бы малой доли вероятности. «Я совершенен, — заявляют они без тени заботы, — я, должно быть, стою неизмеримо выше вас, кому всё ещё приходится трудиться над собственным улучшением».

Вы не сможете сказать им ничего простого — нет никакого быстрого разгромного ответа. Тщательно всё продумав, вы, возможно, сумеете склонить на свою сторону аудиторию, если это публичные дебаты. К сожалению, нельзя просто выпалить: «Глупый смертный, Количественный Путь недоступен твоему пониманию, а убеждения, которые ты так легко называешь „достоверными“, менее надёжны, чем слабейшая из наших великих гипотез». Это различие на уровне целостного мироощущения, которое вообще нелегко выразить словами, а уж тем более быстро.

Что же можно попробовать сделать риторически перед аудиторией? Трудно сказать... возможно, это:

«Сила науки проистекает из её способности менять мнение и признавать ошибки. Если вы ни разу не признавали себя неправым, это вовсе не значит, что вы сделали меньше ошибок».

«Кто угодно может сказать, что уверен абсолютно. Куда труднее никогда-никогда не совершать ошибок. Учёные понимают эту разницу, поэтому и не говорят, что уверены абсолютно. Вот и всё. Это не значит, что у них есть какая-то конкретная причина сомневаться в теории — буквально все свидетельства до единого могут указывать в одном направлении, все звёзды и планеты могут выстроиться, как костяшки домино, в поддержку одной-единственной гипотезы, но учёные всё равно не скажут, что они абсолютно уверены, потому что у них просто более высокие стандарты. Это не значит, что у учёных меньше права на уверенность, чем, скажем, у политиков, которые вечно кажутся столь уверенными во всём».

«Учёные используют фразу „нет абсолютной уверенности“ совсем не так, как вы привыкли в обычном разговоре. Ну то есть представьте, что вы пришли к врачу, сдали анализ крови, и врач возвращается и говорит: „Мы тут провели тесты, и нет абсолютной уверенности, что вы не состоите из сыра, а ещё есть ненулевая вероятность, что двадцать фей из разумного шоколада поют песенку „Я люблю тебя“ из „Барни“ в вашем толстом кишечнике“. Бегите без оглядки, вашему врачу самому нужен врач. Когда то же самое говорит учёный, это означает, что, по его мнению, вероятность настолько ничтожна, что её не разглядеть и в электронный микроскоп, но учёный готов рассмотреть свидетельства в том крайне маловероятном случае, если они у вас есть».

«Согласились бы вы изменить своё мнение о вещах, которые называете „достоверными“, если бы увидели достаточно доказательств? Ну, к примеру, представьте, что сам Бог спустился с небес и сказал вам, что вся ваша религия истинна, за исключением непорочного зачатия. Если это изменит ваше мнение, вы не можете говорить, что абсолютно уверены в непорочном зачатии. По техническим причинам из теории вероятностей, если для вас теоретически возможно изменить своё мнение о чём-либо, вероятность этого события не может быть в точности равна единице. Неопределённость может быть меньше пылинки, но она должна присутствовать. Ну а если вы не изменили бы своего мнения, даже если бы сам Бог сказал вам об обратном, тогда, пожалуй, ваша проблема с нежеланием признавать свои ошибки выходит далеко за рамки того, что может сказать вам такой смертный, как я».

Но в каком-то смысле гораздо более интересный вопрос заключается в том, что сказать человеку не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без уверенности?

Мне кажется, самым первым шагом должно стать понимание того, что жить без уверенности можно — что если, гипотетически говоря, вы не можете быть ни в чём уверены абсолютно, это не лишает вас способности проводить моральные или фактические различия. Перефразируя Лоис Буджолд: «Не дави сильнее — снижай сопротивление».

Одним из распространённых способов защиты Абсолютного Авторитета является то, что я называю «Аргументом от „аргумента от серого“», и звучит он следующим образом:

Моральные релятивисты говорят:

Мир не чёрно-белый, следовательно:

Всё серое, следовательно:

Никто не лучше других, следовательно:

Я могу делать всё, что захочу, и вы не сможете меня остановить, му-ха-ха-ха.

Но мы должны иметь возможность не давать людям совершать убийства.

Следовательно, должен существовать способ быть абсолютно уверенным, иначе победят моральные релятивисты.

Глупость, вывернутая наизнанку, — ещё не ум. Нельзя прийти к правильному ответу, выворачивая наизнанку каждую до единой строчку аргумента, ведущего к ложному выводу, — тем самым вы даёте глупцу слишком много детального контроля над собой. В математическом доказательстве верной должна быть каждая отдельная строчка, чтобы оно оставалось в силе. И из того факта, что моральные релятивисты говорят: «Мир не чёрно-белый», вовсе не следует, будто это ложь, — точно так же, как из веры Сталина в то, что 2 + 2 = 4, не следует ложность утверждения «2 + 2 = 4». Ошибка (а достаточно всего одной) заключается в скачке от двухцветного восприятия к одноцветному — к представлению, будто все оттенки серого одинаковы.

Согласиться с посылкой, будто для того, чтобы поступать нравственно, вам необходимо абсолютное знание об абсолютно добрых и абсолютно злых вариантах выбора, значило бы уступить слишком многое (по сути, проиграть весь спор). Вы можете обладать не вполне достоверным знанием о том, какие варианты относительно лучше, а какие относительно хуже, и всё равно делать выбор. На самом деле это должно быть делом рутинным, а не поводом разводить драму.

То есть, конечно, если вам нужно выбрать между двумя альтернативами, А и Б, и вы каким-то образом ухитрились обрести заведомо достоверную, хорошо откалиброванную стопроцентную уверенность в том, что А абсолютно и во всех отношениях желательно, а Б — это средоточие всего злого и отвратительного, то это достаточное условие для выбора А вместо Б. Но это вовсе не необходимое условие.