Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

утверждения поверить очень трудно, людям легко поверить, что они должны в них верить. Деннет называет это «верой в веру». Что вообще значит — по-настоящему допустить, по-настоящему поверить, что три равно одному? Гораздо проще поверить, что вы каким-то образом должны верить, что три равно одному, и произносить нужные слова в подобающие моменты церковной службы. Деннет предполагает, что большую часть «религиозной веры» следует изучать как «декларирование веры» — то, во что люди, по их мнению, должны верить, и то, что, как они знают, им следует говорить.

Слишком легко отвечать на каждый контраргумент словами: «Ну, конечно, я могу ошибаться». Затем, послушно преклонив колени перед Скромностью и отвесив положенный поклон, вы можете продолжать свой путь, ничего не меняя.

Соблазн всегда состоит в том, чтобы набрать как можно больше очков с наименьшими усилиями. Соблазн в том, чтобы аккуратно встраивать всю поступающую информацию так, чтобы как можно меньше менять свои убеждения и, прежде всего, свои действия. Джон Кеннет Гэлбрейт сказал: «Столкнувшись с выбором — изменить свое мнение или доказать, что в этом нет необходимости, — почти каждый сразу же принимается за доказательство».1 И чем больше неудобств влечет за собой смена мнения, тем больше усилий люди будут тратить на это доказательство.

Но знаете, если вы всё равно собираетесь сделать то же самое, нет смысла идти на такие невероятные ухищрения, чтобы это рационализировать. Я часто видел, как люди сталкиваются с новой информацией, вроде бы принимают её, а затем тщательно объясняют, почему они собираются делать ровно то же самое, что планировали и раньше, но только с другим обоснованием. Смысл мышления в том, чтобы формировать наши планы; если вы всё равно собираетесь оставить планы прежними, зачем вообще проделывать всю эту работу ради их обоснования? Самое сложное при встрече с новой информацией — обновиться, отреагировать, а не просто позволить ей бесследно исчезнуть в черной дыре. А скромность, если её «правильно» понять превратно, становится отличной черной дырой: всё, что вам нужно сделать, — это признать, что вы можете ошибаться. Поэтому написано: «Быть скромным — значит совершать конкретные действия в предвидении собственных ошибок. Признавать свою погрешимость и ничего с этим не делать — не значит быть скромным; это хвастовство своей скромностью».

*

1. Джон Кеннет Гэлбрейт, Economics, Peace and Laughter (Plume, 1981), 50.

47. Третья альтернатива.

Вера в Санта-Клауса дарит детям ощущение чуда и побуждает их хорошо себя вести в надежде получить подарки. Если вера в Санту будет разрушена правдой, дети утратят ощущение чуда и перестанут хорошо себя вести. Поэтому, хотя вера в Санту и не соответствует действительности, это Благородная Ложь, чистую пользу от которой необходимо сохранить по утилитарным соображениям.

Классически это называется ложной дилеммой, ошибкой исключённого третьего или ошибкой «пакетной сделки». Даже если мы примем исходные фактические и моральные посылки этого аргумента, он не работает. Даже если предположить, что «политика Санты» (поощрение детской веры в Санта-Клауса) лучше «нулевой политики» (ничего не делать), из этого вовсе не следует, что сантаизм — это лучшая из всех возможных альтернатив. Другие варианты политики тоже могли бы подарить детям ощущение чуда — например, если бы мы возили их смотреть на запуск космического шаттла или покупали им научно-фантастические книги. Точно так же (если я правильно помню), попытки подкупить детей за хорошее поведение побуждают их вести себя прилично только под присмотром взрослых, тогда как похвала без подкупа ведет к безусловному хорошему поведению.

Благородная ложь обычно представляет собой ошибку «пакетной сделки», а ответом на такую ошибку служит то, что если нам действительно так нужна предполагаемая выгода, мы можем создать Третью Альтернативу для её получения.

Как нам находить Третьи Альтернативы? Первый шаг в поиске Третьей Альтернативы — это решение искать её, а последний шаг — решение её принять. Это кажется очевидным, и тем не менее большинство людей спотыкаются именно на этих двух шагах, а вовсе не в самом процессе поиска. Откуда берутся ложные дилеммы? Некоторые возникают честно, потому что более удачные альтернативы когнитивно трудно разглядеть. Но настоящая фабрика ложных дилемм — это оправдание сомнительной политики указанием на её предполагаемую выгоду по сравнению с нулевым действием. В этом случае оправдывающий не хочет никакой Третьей Альтернативы; ведь её обнаружение разрушило бы само оправдание. Меньше всего «сантаист» хочет слышать, что похвала работает лучше подкупа или что космические корабли могут вдохновлять ничуть не меньше летающих оленей.

Лучшее — враг хорошего. Если цель действительно в том, чтобы помочь людям, то лучшая альтернатива — это повод для радости: найдя более эффективную стратегию, мы сможем помочь людям еще лучше. Но если цель — оправдать конкретную стратегию, утверждая, что она помогает людям, то Третья Альтернатива становится вражеским аргументом, конкурентом.

Современная когнитивная психология рассматривает принятие решений как поиск альтернатив. В реальной жизни мало просто сравнивать варианты; для начала эти варианты нужно вообще сформулировать. В случае многих задач число альтернатив огромно, поэтому вам необходим критерий остановки поиска. Покупая дом, вы не можете сравнить все дома в городе; в какой-то момент приходится остановить поиски и принять решение.

Но что происходит, когда наши сознательные мотивы поиска — критерии, в которых мы готовы признаться сами себе, — расходятся с подсознательным влиянием? Когда мы ведем якобы альтруистический поиск, пытаясь найти альтруистическую стратегию, и находим вариант, который выгоден окружающим, но невыгоден нам самим — ну, мы не останавливаемся на этом; мы продолжаем искать. Разумеется, мы уверяем себя, что ищем стратегию, которая принесет еще больше альтруистической пользы. Но представьте, что мы находим решение, которое приносит какую-то доказуемую пользу и одновременно оказывается лично нам удобно? Тут мы сразу же останавливаем поиск! Более того, мы, скорее всего, будем сопротивляться любому предложению поискать ещё, ссылаясь, скажем, на нехватку времени. (И при этом у нас почему-то всегда находятся когнитивные ресурсы на придумывание оправданий для нашего текущего курса.)

Остерегайтесь моментов, когда вы ловите себя на попытках доказать, что стратегия оправданна, а не оптимальна; или когда вы утверждаете, что она дает хоть какую-то пользу по сравнению с бездействием, вместо того чтобы приносить максимальную пользу среди всех возможных действий.

Ложные дилеммы часто преподносятся для оправдания неэтичных действий, которые по какому-то невероятному совпадению оказываются крайне удобными. Врать, например, зачастую гораздо удобнее, чем говорить правду, а продолжать верить в то, с чего вы начали, намного проще, чем обновлять