Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если бы речь шла о вопросе, в котором все истинные возражения можно было бы легко выложить на стол, разногласие, вероятно, разрешилось бы так просто, что спор никогда не затянулся бы дальше первой встречи.

«Является ли это моим истинным возражением?» — вот вопрос, который оба участника спора непременно должны задавать себе, чтобы облегчить жизнь собеседнику. Однако попытки прямо и публично подвергнуть собеседника психоанализу, по моим наблюдениям, могут привести к тому, что разговор очень быстро покатится по наклонной.

И всё же вопрос «Действительно ли это ваше истинное возражение?» должен оставаться вполне допустимым вопросом, который спорящие могут деликатно задать друг другу, если есть хоть какой-то продуктивный способ рассмотреть этот подвопрос. Возможно, правило могло бы звучать так: вы можете открыто спросить: «Является ли этот кажущийся простым и понятным довод вашим истинным возражением, или же он проистекает из интуиции X или профессионального духа времени Y?» При этом более неловкие варианты, лежащие ниже, остаются на совести собеседника — разбираться с ними входит в его личные обязанности.

*

78. Запутанные истины, заразная ложь.

Один из ваших самых ранних философов пришел к выводу, что полностью компетентный разум, изучив один-единственный факт или артефакт, принадлежащий любой заданной вселенной, мог бы воссоздать или визуализировать эту вселенную от момента ее сотворения до самого ее конца...

—Первый Ленсман1

Если кто-то из вас сосредоточит свое внимание на одном-единственном факте или маленьком предмете, таком как камешек, семя растения или иного живого существа, на столь ничтожный срок, как сто ваших лет, вы начнете постигать его истину.

—Серый Ленсман2

Я практически уверен, что один-единственный камешек, взятый с пляжа нашей Земли, не определяет однозначно континенты и страны, политику и людей этой Земли. Другие планеты в пространстве и времени, другие эвереттовские ветви породили бы точно такой же камешек. С другой стороны, идентичность одного камешка, похоже, включает в себя наши законы физики. В этом смысле вся наша Вселенная — все эвереттовские ветви — выводилась бы из этого камешка. (Если, что весьма вероятно, истинно свободных переменных не существует.)

Так что один-единственный камешек, скорее всего, не подразумевает всю нашу Землю. Но он подразумевает очень и очень многое. Изучая этот камешек, вы могли бы увидеть законы физики и все, что из них следует. Размышляя об этих законах физики, вы поймете, что планеты неизбежно сформируются, и сможете догадаться, что камешек появился на одной из них. Внутренние кристаллы и молекулярная структура камешка формировались под воздействием гравитации, что кое-что говорит нам о массе планеты; а смесь элементов в камешке кое-что сообщает о ее формировании.

Я не геолог и не знаю, в какие тайны посвящены геологи. Но мне очень легко представить, как я показываю геологу камешек и говорю: «Этот камешек с пляжа в Хаф-Мун-Бей», а геолог тут же отвечает: «Я в замешательстве» или даже «Вы лжец». Возможно, это неподходящая порода камня или камешек недостаточно обточен водой, чтобы быть с пляжа — я слишком плохо разбираюсь в камнях, чтобы угадать те связи и характерные признаки, на которых меня могут поймать, и именно в этом вся суть.

«Только Бог может солгать по-настоящему правдоподобно». Интересно, существовала ли когда-нибудь религия, сделавшая это своей пословицей? Я бы (опровержимо) предположил, что нет: это рационалистическая мысль, даже если облечь ее в теологическую метафору. Слова вроде «всё взаимосвязано со всем, потому что Бог создал весь мир и поддерживает его» могут вызвать приятные теплые чувства во время проповеди, но они мало чем помогут, когда дело дойдет до соотнесения конкретных камешков с конкретными пляжами.

Монетка на Земле сообщает Луне гравитационное ускорение около 4,5 × 10-31 м/с2, так что в некотором смысле не будет большой ошибкой сказать, что каждое событие запутано со всем своим прошлым световым конусом. И поскольку логические выводы могут распространяться вперед и назад по причинно-следственным сетям, эпистемические запутанности могут легко пересекать границы световых конусов. Но я бы не хотел оказаться тем астрономом-криминалистом, которому пришлось бы смотреть на Луну и выяснять, какой стороной — орлом или решкой — упала монетка: ее влияние гораздо меньше квантовой неопределенности и теплового шума.

Если бы вы сказали: «Все запутано с чем-то еще» или «Все инференциально запутано, и одни связи гораздо сильнее других», вы могли бы оказаться по-настоящему мудрым, а не просто Глубоко Мудрым.

Физически каждое событие в некотором смысле представляет собой сумму всего своего прошлого светового конуса, без границ и пределов. Но список заметных запутанностей гораздо короче, и он образует нечто вроде сети. Именно эту высокоуровневую закономерность я имею в виду, когда говорю о Великой Паутине Причинности.

Возможно, я пишу эти слова с заглавных букв с некоторой иронией; но если хоть что-то вообще заслуживает Заглавных Букв, то Великая Паутина Причинности уж точно входит в этот список.

«О, какую запутанную паутину мы плетем, когда впервые решаемся на обман», — сказал сэр Вальтер Скотт. Не всякая ложь выходит из-под контроля — мы живем не в столь уж справедливой вселенной. Но время от времени действительно случается так, что кто-то лжет об одном факте, а затем вынужден лгать о связанном с ним факте, а затем и о следующем, связанном уже с этим:

— Где ты был?

— О, я был в командировке.

— А что это была за командировка?

— Не могу сказать, это конфиденциальные переговоры с крупным клиентом.

— О, тебя к ним допустили? Отличные новости! Надо будет позвонить твоему боссу и поблагодарить за то, что он подключил тебя.

— Извини, его сейчас нет в офисе...

Люди, не будучи богами, часто оказываются неспособны представить себе все факты, которые им придется исказить, чтобы выдать по-настоящему правдоподобную ложь. Версия «Я забеременела от Бога» казалась чуть более правдоподобной в прежние времена, когда наши модели мира еще не содержали (упоминаний о) Y-хромосомах. Сегодня многие подобные варианты лжи могут разлететься в прах благодаря повсеместному распространению генетических тестов. Насильников осуждали, а лжеобвинителей разоблачали годы спустя на основании улик, о возможности оставить которые те даже не подозревали. Студент, изучающий эволюционную биологию, видит конструкторский почерк естественного отбора в каждом волке, преследующем кролика, на каждом убегающем кролике и на каждой пчеле, которая жалит вместо того, чтобы вежливо предупредить, — но уловки креационистов кажутся правдоподобными им самим, я в этом уверен.

Не всякая ложь раскрывается,