Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

в отличие от возможности находить оправдания, но подобно времени на их подготовку. Возможно, к предвосхищению стоит относиться как к сохраняющемуся ресурсу, вроде денег. Ваш первый порыв — попытаться получить больше предвосхищения, но вскоре вы понимаете, что даже если вы получите его больше, времени на подготовку оправданий у вас не прибавится. Нет, единственный выход — как можно лучше распределить свой ограниченный запас предвосхищения.

Вы почти уверены, что на курсах статистики вас ничему подобному не учили. Они не говорили, что делать, когда вы чувствовали такую жуткую неопределенность. Они не говорили, что делать, когда вам не давали готовых циферок. Да ведь даже если бы вы попытались использовать числа, вы могли бы начать использовать вообще любые числа — ведь нет никаких подсказок, какую математику применять, если ее вообще стоит применять! Может, вы в итоге стали бы использовать пары чисел, правые и левые, которые назвали бы DS — от Dexter-Sinister... или кто знает что еще? (Хотя у вас по-прежнему есть всего 100 минут на подготовку оправданий).

Если бы только существовало искусство фокусировать свою неопределенность — искусство того, как втиснуть как можно больше предвосхищения именно в тот исход, который произойдет на самом деле!

Но как назвать подобное искусство? И какими были бы его правила?

*

21. Что такое свидетельство? Высказывание «снег бел» истинно тогда и только тогда, когда снег бел. — Альфред Тарский. Сказать о сущем, что оно есть, или о несущем, что его нет, — значит сказать истину. — Аристотель, «Метафизика», книга IV.

Если эти две цитаты не кажутся вам достаточным определением «истины», переходите сразу к эссе «Простая истина». Здесь же я собираюсь поговорить о «свидетельствах». (Также я намерен обсуждать фактические убеждения, а не эмоции или мораль, как это разграничено в «Рациональных чувствах».)

Вы идете по улице, и у вас развязываются шнурки. Вскоре после этого по какой-то странной причине вы начинаете верить, что ваши шнурки развязаны. Свет покидает Солнце, падает на ваши шнурки и отражается от них; часть фотонов попадает в зрачки ваших глаз и ударяет в сетчатку; энергия фотонов запускает нервные импульсы; нервные импульсы передаются в зрительные отделы мозга; и там оптическая информация обрабатывается и реконструируется в трехмерную модель, которая распознается как развязавшийся шнурок. Существует последовательность событий, причинно-следственная связь в окружающем мире и в вашем мозгу, в результате которой вы в итоге начинаете верить в то, во что верите. Конечным результатом этого процесса является состояние разума, отражающее реальное состояние ваших шнурков.

Что такое свидетельство? Это событие, сцепленное причинно-следственными связями с тем, о чем вы хотите узнать. Если предметом вашего интереса являются, к примеру, ваши шнурки, то свет, попадающий в ваши зрачки, — это свидетельство, сцепленное со шнурками. Не стоит путать это с техническим значением термина «запутанность», используемым в физике, — здесь я говорю о «запутанности» просто в смысле двух вещей, которые оказываются в скоррелированных состояниях из-за причинно-следственных связей между ними.

Не всякое воздействие создает ту «сцепленность», которая необходима для свидетельства. Нет никакого толку от автомата, который пищит, когда вы вводите выигрышные номера лотереи, если этот автомат также пищит, когда вы вводите проигрышные номера. Свет, отраженный от вашей обуви, не был бы полезным свидетельством о ваших шнурках, если бы фотоны оказывались в одном и том же физическом состоянии независимо от того, завязаны ваши шнурки или развязаны.

Говоря абстрактно: чтобы событие было свидетельством о предмете исследования, оно должно происходить по-разному, будучи сцепленным с различными возможными состояниями этого предмета. (Говоря техническим языком: между событием-свидетельством и предметом исследования должна существовать взаимная информация Шеннона, соответствующая вашему текущему состоянию неопределенности относительно них обоих.)

Сцепленность может быть заразной при правильной обработке, именно поэтому вам нужны глаза и мозг. Если фотоны отразятся от ваших шнурков и попадут на камень, камень мало изменится. Камень никак полезно не отразит состояние шнурков; он не станет заметно иным в зависимости от того, завязаны были ваши шнурки или нет. Вот почему камни — бесполезные свидетели в суде. Фотопленка переймет сцепленность со шнурками от падающих фотонов, так что фотография сама по себе сможет служить свидетельством. Если ваши глаза и мозг работают правильно, вы окажетесь сцеплены со своими собственными шнурками.

Вот почему рационалисты придают такое огромное значение кажущемуся парадоксальным утверждению, что убеждение по-настоящему ценно лишь в том случае, если вас в принципе можно убедить в обратном. Если бы ваша сетчатка оказывалась в одном и том же состоянии независимо от того, какой свет на нее падает, вы были бы слепы. Некоторые системы верований — используя довольно очевидный трюк для самоподкрепления — утверждают, что определенные убеждения ценны лишь тогда, когда вы верите в них безусловно — независимо от того, что вы видите и о чем думаете. Предполагается, что ваш мозг в любом случае придет к одному и тому же состоянию. Отсюда и выражение «слепая вера». Если то, во что вы верите, не зависит от того, что вы видите, вас ослепили столь же эффективно, как если бы выкололи вам глаза.

Если ваши глаза и мозг работают правильно, ваши убеждения в итоге окажутся сцеплены с фактами. Рациональное мышление порождает убеждения, которые сами по себе являются свидетельствами.

Если ваши слова правдивы, ваши рациональные убеждения, которые сами по себе являются свидетельством, могут служить свидетельством для кого-то другого. Сцепленность может передаваться по причинно-следственным цепочкам — и если вы говорите, а другой слышит, это тоже причинно-следственная связь. Произнося по мобильному телефону «У меня развязались шнурки», вы делитесь со своим другом сцепленностью со шнурками.

Поэтому рациональные убеждения заразны среди честных людей, которые считают друг друга честными. И именно поэтому заявление о том, что ваши убеждения не заразны — что вы верите по каким-то личным, непередаваемым причинам, — вызывает такие сильные подозрения. Если ваши убеждения сцеплены с реальностью, они должны быть заразными среди честных людей.

Если ваша модель реальности предполагает, что результаты ваших мыслительных процессов не должны быть заразными для других, значит, ваша модель утверждает, что ваши убеждения сами по себе не являются свидетельством, а значит, они не сцеплены с реальностью. Вам следует применить рефлексивную корректировку и перестать в это верить.

Действительно, если вы почувствуете нутром, что все это значит, вы автоматически перестанете верить. Потому что «мое убеждение не сцеплено с реальностью» означает «мое убеждение неверно». Как только вы перестаете верить, что «утверждение