Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

как того, у кого есть определённое мнение о существовании хотя бы одного бога — например, кто оценивает вероятность существования Зевса ниже 10% или выше 90%? Или же «религиозным» нужно считать того, у кого есть положительное убеждение (скажем, вероятность выше 90%) в существовании хотя бы одного бога? В первом случае Сталин был «религиозен», во втором — «нерелигиозен».

Но это в корне неверный взгляд на проблему. Что вы на самом деле хотите узнать — о чём изначально и шёл спор, — так это почему в определённые моменты человеческой истории огромные группы людей подвергались массовым убийствам и пыткам, якобы во имя какой-то идеи. Переопределение слова никак не изменит исторические факты.

Коммунизм был сложной катастрофой, и, возможно, здесь нет единого «почему», единого критического звена в причинно-следственной связи. Но если бы мне пришлось указать на первородную ошибку, это было бы... впрочем, пусть Бог скажет это за меня:

Если брат твой, сын отца твоего или матери твоей, или сын твой, или дочь твоя, или жена, которую ты обнимаешь, или твой самый близкий друг станет тайно подговаривать тебя, говоря: «Пойдём и будем служить иным богам», которых не знал ни ты, ни твои предки, богам народов, окружающих вас, близких к тебе или далёких, в любом конце земли, то не соглашайся с ним, не слушай его; не жалей его, не щади его и не скрывай его вины. Нет, убей его; твоя рука первая должна подняться на него, чтобы предать его смерти, а затем руки всего остального народа. Побей его камнями до смерти, ибо он пытался отвратить тебя от Яхве, Бога твоего.

— Второзаконие 13:7–11, выделение добавлено

Такое же правило Сталин установил для коммунизма, а Гитлер — для нацизма: если твой брат пытается объяснить тебе, в чём Маркс неправ, если твой сын пытается доказать тебе, что евреи не замышляют мировое господство, то не спорь с ним и не приводи свои доказательства, не проводи воспроизводимые эксперименты и не изучай историю, но немедленно сдай его в тайную полицию.

Я предположил, что один из ключей к сопротивлению аффективной спирали смерти — это принцип «обременительных деталей»: нужно просто не забывать подвергать сомнению конкретные детали каждого нового приятного утверждения о Великой Идее. (Это не банальный совет. Люди часто забывают делать это, даже когда слушают футуролога, рисующего удивительно подробные картины чудес завтрашнего дня, не говоря уже о тех случаях, когда они думают о своей самой любимой идее.) Это не избавило бы от эффекта ореола, но, хочется надеяться, снизило бы резонанс ниже уровня критичности, так что одно приятное на слух утверждение порождало бы в среднем менее 1,0 новых приятных утверждений.

Диаметрально противоположный этому совет, который переводит эффект ореола в сверхкритический режим, — это когда кажется неправильным спорить против любого положительного утверждения о Великой Идее. Политика — убийца разума. Аргументы — это солдаты. Как только вы понимаете, на чьей вы стороне, вы обязаны поддерживать все благоприятные заявления и оспаривать все неблагоприятные. Иначе это выглядит как пособничество врагу или удар в спину своим друзьям.

Если...

...вы чувствуете, что возразить кому-то, кто делает ошибочное, но приятное заявление в пользу эволюции, означало бы оказать пособничество креационистам;

...вам кажется, будто вы получаете духовные баллы за каждое доброе слово о Боге, а споры об этом помешают вашим отношениям с Богом;

...у вас есть чёткое ощущение, что другие люди в комнате невзлюбят вас за то, что вы «не поддерживаете наших ребят», если вы выступите против очередной войны;

...за любые слова против коммунизма вас побивают камнями расстреливают;

...тогда аффективная спираль смерти перешла в сверхкритическое состояние. Теперь это Суперсчастливая спираль смерти.

Не религия как таковая является ключевой категорией применительно к нашему исходному вопросу: «Что порождает бойню?» Лучшее разграничение, которое я слышал, между «сверхъестественным» и «натуралистическим» мировоззрениями состоит в том, что сверхъестественное мировоззрение утверждает существование онтологически базовых ментальных субстанций, таких как духи, в то время как натуралистическое сводит ментальные явления к нементальным составляющим. Фокусироваться на этом как на источнике проблемы — значит признавать религиозную исключительность. Сверхъестественные утверждения стоит выделять, потому что они всегда оказываются неверными по весьма фундаментальным причинам. Но это всё равно лишь одна из разновидностей ошибок.

Аффективная спираль смерти может зарождаться вокруг сверхъестественных верований — особенно монотеизмов, на вершине которых стоит Суперсчастливый Агент, определяемый главным образом тем, что он соглашается с любым приятным утверждением о нём; особенно вокруг мем-комплексов, развившихся достаточно, чтобы угрожать сверхъестественными карами за неверие. Но спираль смерти может также начаться вокруг политического нововведения, харизматичного лидера, веры в расовое предназначение или экономической гипотезы. Урок истории состоит в том, что аффективные спирали смерти опасны независимо от того, замешано ли в них сверхъестественное. Религия как класс ошибок не является чем-то настолько особенным, чтобы быть ключевой проблемой.

Сэм Харрис подошёл ближе к сути, когда указал обвиняющим перстом на веру. Если вы не возлагаете надлежащее бремя доказывания на абсолютно каждое дополнительное приятное утверждение, аффективный резонанс запускается очень легко. Посмотрите на бедных ньюэйджеров. Христианство выработало защиту от критики, отстаивая чудеса веры; ньюэйджеры же культурно унаследовали кэшированную мысль о том, что вера — это благо, но у них нет исключающего священного писания христианства, способного не допускать конкурирующие мемы. В итоге ньюэйджеры оказываются в счастливых спиралях смерти вокруг звёзд, деревьев, магнитов, диет, заклинаний, единорогов...

Но аффективная спираль смерти становится куда более смертоносной после того, как критика превращается в грех, оплошность или преступление. В этом мире есть вещи, заслуживающие величайшей похвалы, и нельзя категорически утверждать, будто восхваление сверх определённого предела запрещено. Но никогда не бывает Идеи настолько истинной, чтобы критика любого поддерживающего её аргумента считалась предосудительной. Никогда. Никогда-преникогда, во веки веков. Вот это — категорично. Подавляющее большинство возможных убеждений в нетривиальном пространстве ответов ложны, и точно так же подавляющее большинство возможных поддерживающих аргументов в пользу истинного убеждения тоже ложны, и даже самая счастливая идея не способна этого изменить.

И отвечать на критику насилием — трижды ультра-запрещено. В человеческом искусстве рациональности есть очень немного предписаний, не допускающих никаких «если», «но» или лазеек. Это — одно из них. На плохой аргумент отвечают контраргументом. Не пулей. Никогда. Никогда-преникогда, во веки веков.

*

109. Испарительное охлаждение групповых убеждений.

Первые исследователи культов к своему удивлению обнаружили, что, когда культы сталкиваются с серьезным потрясением — пророчество не сбывается, вскрывается моральный