Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

изъян основателя, — они часто выходят из кризиса еще более сильными, а их вера и фанатизм только крепнут. Свидетели Иеговы на основе библейских расчетов назначили Армагеддон на 1975 год; 1975 год пришел и ушел. Юнарианский культ, процветающий и по сей день, пережил неприбытие межгалактического космического флота 27 сентября 1975 года.

Почему групповое убеждение становится сильнее после столкновения с сокрушительными опровержениями?

Общепринятая интерпретация этого феномена основана на когнитивном диссонансе. Когда люди совершили «необратимые» поступки во имя веры — раздали все свое имущество в ожидании приземления тарелок, — они просто не могут признать, что ошибались. Удар по их вере вызывает сильнейший когнитивный диссонанс; чтобы справиться с потрясением, они вынуждены искать подкрепляющие мысли и в результате становятся еще более фанатичными. Согласно этой трактовке, рост группового фанатизма является следствием роста фанатизма индивидуального.

Как-то раз я рассматривал Java-апплет, демонстрирующий использование испарительного охлаждения для получения конденсата Бозе — Эйнштейна, и мне пришло в голову, что к росту фанатизма может приводить совершенно иная сила. При испарительном охлаждении вокруг скопления горячих атомов создается потенциальный барьер. Тепловая энергия по своей сути статистична — не все атомы движутся с одинаковой скоростью. Кинетическая энергия любого конкретного атома меняется при столкновении с другими атомами. Если вы установите потенциальный барьер лишь чуть выше средней тепловой энергии, случайным образом у некоторых атомов кинетическая энергия окажется достаточно высокой, чтобы вырваться из ловушки. Когда необычайно быстрый атом улетает, он уносит с собой необычайно большое количество кинетической энергии, и средняя энергия снижается. Группа становится существенно холоднее, чем окружающий ее потенциальный барьер. Игра с этим Java-апплетом поможет прояснить этот процесс.

В классической книге Фестингера, Рикена и Шэхтера «Когда пророчество не сбывается» один из членов культа вышел за дверь сразу после того, как летающая тарелка не приземлилась.1 Кто теряет терпение и уходит первым? Среднестатистический адепт? Или относительно более скептически настроенный участник, который раньше мог выступать в роли голоса разума и сдерживать более фанатичных членов?

После того как члены группы с наибольшей «кинетической энергией» уходят, все дальнейшие дискуссии будут вестись между крайними фанатиками с одной стороны и чуть менее крайними фанатиками с другой, а групповой консенсус окажется где-то «посередине».

А в чем же тогда аналогия с коллапсом при образовании конденсата Бозе — Эйнштейна? Ну, на самом деле нет нужды заходить в этой аналогии так далеко. Но вы, возможно, помните, что я использовал аналогию с цепной реакцией деления для аффективной спирали смерти: когда группа изгоняет все свои голоса умеренности, оставшиеся люди подстегивают друг друга и подавляют инакомыслие, из-за чего средний уровень фанатизма внутри группы может возрасти. (Никакой термодинамической аналогии здесь нет, если только кто-нибудь не создаст ядерную бомбу, которая взрывается при охлаждении.)

Когда сторонникам объективизма стало известно о многолетнем романе Айн Рэнд с Натаниэлем Бранденом, значительная часть объективистов откололась и последовала за Бранденом, начав отстаивать «открытую систему» объективизма, не связанную столь жестко с личностью Айн Рэнд. Кто же остался с Айн Рэнд даже после того, как разразился скандал? Те, кто очень, очень сильно в нее верил — и, возможно, часть колеблющихся, которые после ухода сторонников умеренности слышали аргументы только с одной стороны. Этим можно объяснить, почему Институт Айн Рэнд, как сообщается, стал после раскола более фанатичным, чем первоначальное ядро объективистов под руководством Брандена и Рэнд.

Несколько лет назад я состоял в рассылке трансгуманистов, где небольшая группа сторонников «социал-демократического трансгуманизма» ядовито оскорбляла каждого либертарианца в списке. Большинство либертарианцев покинули рассылку, а большинство остальных перестали писать. В результате оставшаяся группа существенно сдвинулась влево. Было ли это сделано намеренно? Скорее всего, нет, поскольку я сомневаюсь, что зачинщики так хорошо знали психологию. (К слову, я не припомню, чтобы аналогия с испарительным охлаждением встречалась где-то еще, хотя это не значит, что ее никто не замечал ранее.) В лучшем случае они могли думать о том, как стать «крупной рыбой в маленьком пруду».

Это одна из причин, почему важно иметь предвзятость в пользу терпимости к инакомыслию. Подождите еще значительное время после того, как изгнание члена из группы покажется вам оправданным, прежде чем сделать это на самом деле. Если вы избавитесь от прежних крайних элементов, позиция группы сместится, и чудаком станет кто-то другой. Если вы изгоните и его, вы окажетесь на верном пути к тому, чтобы превратиться в конденсат Бозе — Эйнштейна и... ну, взорваться.

Обратная сторона медали: Томас Кун считал, что наука, прежде чем начать приносить реальные результаты, должна выработать «парадигму» с общим техническим языком, исключающим посторонних. На этапе становления науки, по мнению Куна, ее приверженцы прикладывают огромные усилия, чтобы сделать свои труды понятными для сторонних ученых. Но (согласно Куну) наука может достичь реального прогресса как техническая дисциплина лишь тогда, когда она отказывается от требования доступности для непосвященных, а ученые, работающие в рамках парадигмы, при общении друг с другом исходят из того, что собеседник уже знаком со значительным объемом специального материала. По сравнению с тем, что обычно говорят о понимании науки широкой общественностью, это звучит цинично, но я определенно вижу здесь рациональное зерно.

Моя собственная теория интернет-модерации заключается в том, что для начала живого обсуждения необходимо быть готовым отсеивать троллей и спам. Более того, если вы хотите, чтобы дело двигалось, вам нужно быть готовым исключать из технических рассылок даже доброжелательных, но технически не подкованных людей. По-настоящему открытое обсуждение в интернете быстро деградирует. Согласно этой теории, вам следует остерегаться изгнания именно красноречивых троллей — они выполняют скрытую функцию, легитимизируя менее радикальные разногласия. Однако таких красноречивых троллей не должно быть слишком много, иначе они начнут спорить друг с другом или доминировать в обсуждениях. Если в сообществе есть хотя бы один человек на роли известного Парня, Который Не Согласен Вообще Ни С Чем, то любой, кто выскажет более разумное и умеренное возражение, уже не будет выглядеть единственным торчащим гвоздем. На практике эта теория интернет-модерации, возможно, показала себя не лучшим образом, так что отнеситесь к ней со здоровой долей скептицизма.

*

1. Леон Фестингер, Генри Рикен и Стэнли Шехтер, «Когда пророчество не сбывается: социально-психологическое исследование современной группы, предсказавшей гибель мира» (Harper-Torchbooks, 1956).

110. Когда никто не смеет призывать к сдержанности.

Как-то утром я встал с постели, включил компьютер, и мой почтовый клиент Netscape автоматически загрузил панель новостей за день. В тот конкретный день