Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

каждого нового пункта исследования, для каждого не виденного ранее свидетельства, на которое вы внезапно обратите внимание, ожидаемая апостериорная вероятность должна быть равна вашей априорной вероятности. В микропроцессе исследования ваше убеждение всегда должно находиться в хрупком равновесии, готовое сдвинуться в любую сторону. Не всякий довод способен полностью прояснить картину — например, сдвинуть уверенность с 70% до 30% — но если ваша текущая уверенность составляет 70%, вы должны быть в равной степени готовы как опустить её до 69%, так и поднять до 71%. Вы не должны думать, будто знаете, в какую сторону она изменится (в среднем), поскольку по законам теории вероятностей, если вы знаете пункт назначения, вы уже там. Если вы способны исследовать честно, так чтобы каждый новый довод действительно имел равный потенциал сдвинуть убеждение вверх или вниз, это поможет вам сохранить интерес или даже любопытство к самому микропроцессу исследования.

Если аргумент, который вы рассматриваете, не нов, то почему ваше внимание направлено именно сюда? Стали бы вы смотреть сюда, если бы были искренне любопытны? Не критикуете ли вы подсознательно свое убеждение в его сильных, а не слабых местах? Не перебираете ли вы уже известные доказательства?

Если вы сумеете не прокручивать в голове уже известные подтверждения и сможете снижать степень своей убежденности по крупицам под воздействием новых свидетельств, вы, возможно, даже сумеете полностью отказаться от этого убеждения — осознать, с какой стороны дует против вас ветер свидетельств.

Еще одно средство для восстановления любопытства — это то, что я стал называть литанией Тарского, которая на самом деле представляет собой мета-литанию, конкретизирующуюся для каждого отдельного случая (и это вполне естественно). Например, если я в напряжении размышляю, лежит ли в запертом ящике бриллиант, то вместо того, чтобы думать о прекрасных последствиях того, что бриллиант там действительно лежит, я могу повторить литанию Тарского:

Если в ящике лежит бриллиант,

я желаю верить, что в ящике лежит бриллиант;

Если в ящике нет бриллианта,

я желаю верить, что в ящике нет бриллианта;

Да не привяжусь я к убеждениям, которых могу не хотеть.

Тогда вам следует поразмыслить о возможности того, что бриллианта там нет, о последующей пользе, которую принесет вам вера в то, что его там нет, и о последующем вреде, если вы будете верить, что он там есть. См. также Литанию Джендлина.

Если вы найдете в себе хотя бы малейшую искру истинного сомнения, берегите её, словно лесник, бережно поддерживающий костёр. Если вы сможете раздуть её в яркое пламя любопытства, оно наполнит вас легкостью и пылом, придаст цель вашим расспросам и укажет направление вашим навыкам.

*

1. Урсула К. Ле Гуин, На последнем берегу (Saga Press, 2001).

127. Никто не может освободить вас от законов рациональности.

Традиционная рациональность формулируется в терминах социальных правил, а нарушения интерпретируются как жульничество — как отступление от норм сотрудничества. Если вы хотите, чтобы я принял ваше убеждение, вы обязаны предоставить мне определенное количество свидетельств. Если вы пытаетесь уклониться от этого, мы все понимаем, что вы жульничаете и нарушаете своё обязательство. Теория обязана сама делать смелые предсказания, а не просто красть предсказания, ради которых трудились другие теории. Теория обязана подставляться под фальсификацию — если она пытается этого избежать, это всё равно что пытаться уклониться от грозного ритуала инициации; вам придётся заплатить свою цену.

Традиционная рациональность сформулирована сходным образом с обычаями, управляющими человеческими обществами, благодаря чему её легко передавать из уст в уста. Люди распознают социальное жульничество с гораздо большей надёжностью, чем изоморфные нарушения абстрактных логических правил. Но взгляд на рациональность как на социальное обязательство порождает некоторые странные идеи.

Например, можно встретить верующих людей, защищающих свои убеждения словами: «Ну, вы-то тоже не можете обосновать свою веру в науку!» Иными словами: «Как ты смеешь критиковать меня за необоснованные убеждения, лицемер! Ты делаешь то же самое!»

Для байесианцев мозг — это двигатель точности: он обрабатывает и концентрирует сцепленные свидетельства в карту, отражающую территорию. Принципы рациональности — это законы в том же смысле, что и второе начало термодинамики: получение достоверного убеждения требует поддающегося расчёту количества сцепленных свидетельств, точно так же как для надёжного охлаждения содержимого холодильника требуется поддающийся расчёту минимум свободной энергии.

В принципе, законы физики обратимы во времени, поэтому существует бесконечно малая вероятность — неотличимая от нуля ни для кого, кроме математиков, — что холодильник самопроизвольно охладится, попутно вырабатывая электричество. Существует чуть более крупная, но всё же бесконечно малая вероятность того, что вы сможете точно нарисовать подробную карту улиц Нью-Йорка, никогда там не бывав, сидя в своей гостиной с закрытыми жалюзи и без подключения к интернету. Но я бы не стал на это рассчитывать.

Прежде чем пытаться нанести на карту неисследованную территорию, налейте в чашку воды комнатной температуры и подождите, пока она самопроизвольно замёрзнет, и только потом продолжайте. Так вы сможете убедиться, что общий трюк — игнорирование бесконечно малых вероятностей успеха — работает исправно. Вы можете не осознавать напрямую, что ваша карта неверна, особенно если никогда не побываете в Нью-Йорке; но вы же видите, что вода сама по себе не замерзает.

Если правила рациональности — это социальные обычаи, то может показаться, будто ссылка на то, что другие делают то же самое, оправдывает поведение X. Было бы несправедливо требовать от вас свидетельств, если мы сами не можем их предоставить. Мы поймём, что никто из нас не лучше остальных, смягчимся и милостиво освободим вас от вашей социальной обязанности предоставлять свидетельства в пользу вашего убеждения. И все мы заживём долго и счастливо в свободе, равенстве и братстве.

Если же правила рациональности — это математические законы, то попытка оправдать убеждение, не подкреплённое свидетельствами, указанием на то, что кто-то другой делает то же самое, будет примерно столь же эффективна, как перечисление тридцати причин, почему вы не должны падать с обрыва. Даже если мы все проголосуем за то, что потребность вашего холодильника в электричестве несправедлива, он всё равно не заработает (с вероятностью ~1). Даже если мы все проголосуем за то, что вы не обязаны посещать Нью-Йорк, карта всё равно останется неверной. Госпожа Природа, как известно, безучастна к подобным мольбам, равно как и Госпожа Математика.

Так что —