Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

вопреки естественному сползанию в энтропию, нужно постоянно прилагать усилия. Если вы решите «Это не секта!» и вздохнете с облегчением, вы перестанете прикладывать постоянные усилия, чтобы сдерживать обычные склонности к сектантству. Вы решите, что «сущность секты» отсутствует, и перестанете бороться с энтропией секты-аттрактора.

Если вы жутко боитесь сектантства, вам захочется отрицать любой намек на любые признаки, напоминающие секту. Но любая группа, цель которой видится в позитивном свете, рискует поддаться эффекту ореола и должна бороться с энтропией, чтобы не сорваться в аффективную спираль смерти. Это верно даже для обычных институтов вроде политических партий — например, когда люди думают, что «либеральные ценности» или «консервативные ценности» могут излечить рак и тому подобное. Это верно для стартапов Кремниевой долины, как успешных, так и прогоревших. Это верно для пользователей Mac и пользователей Linux. Эффект ореола не становится нормальным только потому, что ему подвержены все; если все будут прыгать с обрыва, вы же не прыгнете за ними? С ошибками в рассуждениях нужно бороться, а не мириться с ними. Но если вы слишком сильно переживаете: «А вы уверены, что это не секта?», то вам очень не захочется замечать малейшие признаки сектантства, ведь это означало бы, что вы в секте, а Это не секта!! В итоге вы не увидите тех полей сражений, где обычные сектантские тенденции наступают или терпят поражение.

Третья ошибка тех, кто нервно спрашивает: «Это ведь не секта, правда?», заключается в том, что, как я сильно подозреваю, эта нервозность вызвана совершенно не теми причинами.

Почему группы, которые превозносят свою Любимую Штуку до небес, призывают адептов жертвовать все свои деньги и добровольно трудиться в рабских условиях, а также содержат закрытые общины, где члены группы находятся в строгой изоляции, называют «религиями», а не «сектами», стоит им просуществовать несколько сотен лет?

Почему большинство людей, которые нервно спрашивают о крионике: «Это же не секта?», не испытывают такой же тревоги при посещении политического митинга республиканцев или демократов? Дихотомия «свой-чужой» и аффективные спирали смерти могут возникать в политических дискуссиях, в традиционных религиях, в спортивном фанатстве. Если бы эта нервозность проистекала из страха совершить ошибки рациональности, люди точно так же боязливо спрашивали бы на митингах демократов или республиканцев: «Это же не дихотомия "свой-чужой"?».

Есть веская причина бояться либертарианства меньше, чем секты свидетелей летающих тарелок: за либертарианцами не водится славы людей, использующих депривацию сна для обращения неофитов. Но ведь и за сторонниками крионики такая слава тоже не водится. Так почему же беспокоиться о том, что вашу голову заморозят после того, как вы перестанете дышать, сильнее?

Подозреваю, что эта нервозность вызвана вовсе не страхом ошибиться в убеждениях или страхом физического вреда. Это страх одинокого несогласия. То нервное чувство, которое возникает у участников эксперимента Аша на конформность, когда все остальные участники (на самом деле подставные лица) один за другим утверждают, что отрезок C равен по длине отрезку X, хотя испытуемому кажется, что отрезку X равен отрезок B. Страх отбиться от стаи.

Вот почему группы, чьи убеждения существуют достаточно давно, чтобы казаться «нормальными», не внушают такого же беспокойства, как «секты» — хотя некоторые традиционные религии тоже могут забрать все ваши деньги и отправить вас в монастырь. Вот почему такие группы, как политические партии, весьма подверженные ошибкам рациональности, не вызывают той же нервозности, что и «секты». Слово «секта» используется не как символ ошибок рациональности, а как ярлык для всего, что кажется странным.

Не всякое изменение есть улучшение, но всякое улучшение — это обязательно изменение. То, что вы хотите делать лучше, вам волей-неволей придется делать по-другому. Общепринятая мудрость действительно содержит изрядную долю, собственно, настоящей мудрости; да, имеет смысл требовать повышенного бремени доказательств для всякого рода странностей. Но эта нервозность вовсе не является результатом подобного взвешенного, рационального рассуждения. Это страх поверить во что-то, из-за чего друзья станут смотреть на вас очень странно. И потому люди спрашивают: «Это ведь не секта, правда?» — таким тоном, который они никогда бы не использовали, собираясь на политический митинг или вешая гигантские рождественские гирлянды.

Именно это меня и раздражает.

Как будто стоит вам поверить во что-то, во что не верили ваши предки, как с небес спустится Сектантская Фея, вселит в вас Сущность Сектантства, и не успеете вы опомниться, как уже все вместе ходите в балахонах и распеваете песнопения. Как будто «странные» убеждения — это прямая причина всех проблем, а депривация сна и побои тут ни при чем. Вред, наносимый сектами — самоубийство адептов «Врат рая» и тому подобное, — якобы лишь доказывает, что любой человек со странными убеждениями безумен; ведь первая и главная характеристика «сектантов» заключается в том, что они — Чужаки со Странными Обычаями.

Да, социально необычные убеждения подвергают группу риску скатывания к мышлению «свой-чужой», испарительному охлаждению и другим проблемам. Но необычность — это фактор риска, а не болезнь сама по себе. То же самое касается наличия цели, которую вы считаете достойной достижения. Независимо от того, истинно ли убеждение, наличие прекрасной цели всегда ставит вас под угрозу аффективной спирали смерти. Но это делает благородные цели фактором риска, а не болезнью. Некоторые цели действительно заслуживают того, чтобы к ним стремиться.

С другой стороны, я не вижу никаких веских причин для лишения сна или угроз избиения несогласных — и точка. Когда группа так поступает, то независимо от того, назовете вы ее «сектой» или «не сектой», вы получите прямой ответ на сугубо практический вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого несогласия — это как раз то, что используют сами секты. Страх перед тем, что друзья посмотрят на вас с осуждением, — это именно тот эффект, который настоящие секты используют, чтобы вербовать и удерживать членов, — они окружают новообращенных сплошной стеной согласия со стороны верующих адептов.

Страх перед странными идеями и стремление к конформизму, без сомнения, уберегли многих потенциальных жертв от сект свидетелей летающих тарелок. Когда вы снаружи, это удерживает вас снаружи. Но стоит вам оказаться внутри, это удерживает вас внутри. Конформизм просто приклеивает вас к тому месту, где вы находитесь, — будь оно хорошим или плохим.

Человеку хочется иметь какую-то возможность быть уверенным, что он не находится в «секте». Какое-то определенное, сокрушительное возражение людям, которые косо на него смотрят. Какую-то возможность раз и навсегда узнать, что он все делает правильно, без этих постоянных сомнений. Кажется, это называется «потребностью в определенности». И — разумеется