Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Но если вы думаете, что запросто надели бы этот костюм клоуна, то и этим не стоит слишком гордиться! Это лишь означает, что вам нужно прикладывать усилия в противоположном направлении, чтобы не противоречить большинству слишком уж легко. Именно это мне и приходится делать, чтобы вносить поправку на собственную природу. У других людей действительно есть причины думать так, как они думают, и полностью игнорировать это столь же плохо, как и бояться им возразить. Вы же не хотите в итоге оказаться вольнодумцем. Это, понимаете ли, не добродетель — просто уклон в ту или иную сторону.

*

120. Сектантское антисектантство.

В современном мире попасть в секту — пожалуй, худшее, что может с вами случиться. В лучшем случае вы окажетесь в группе искренних, но заблуждающихся людей, которые совершают честную ошибку, но в остальном ведут себя прилично; вы потратите кучу времени и денег и в итоге останетесь ни с чем. Вообще-то, под это описание подходит любой провалившийся стартап из Кремниевой долины. А это, если вдуматься, чертовски тяжелое испытание. Так что да, очень пугающе.

Настоящие секты гораздо хуже. «Бомбардировка любовью» как метод вербовки, нацеленный на людей в состоянии личного кризиса. Депривация сна. Хроническая усталость от изнурительного труда. Удаленные коммуны, чтобы изолировать новичка от друзей и семьи. Ежедневные собрания для исповеди в «нечистых помыслах». Для сект обычное дело — забирать все деньги новобранца (и сбережения, и еженедельную зарплату), заставляя его зависеть от секты в плане еды и одежды. Голод как наказание за непослушание. Серьезное промывание мозгов и серьезный ущерб.

С учетом всего этого мне, наверное, следовало бы больше сочувствовать людям, которые ужасно нервничают, начиная какое-то странное на первый взгляд дело, из-за того, что они могут оказаться в секте. Это не должно действовать мне на нервы. Но действует.

Пункт первый: «секты» и «не-секты» — это не обособленные естественные виды, как собаки и кошки. Если вы посмотрите на любой список признаков секты, вы увидите пункты, которые легко могут описывать политические партии и корпорации: «членов группы поощряют недоверчиво относиться к внешней критике, видя в ней скрытые мотивы», «иерархическая авторитарная структура». Я писал о паттернах групповых ошибок вроде групповой поляризации, счастливых спиралей смерти, некритичности мышления и испарительного охлаждения — все они словно подпитывают друг друга. Когда эти сбои закручиваются в один вихрь и сталкиваются, они соединяются в некий Суперсбой, который глупее любой из своих частей, прямо как Вольтрон. Но это не сущность секты, это сектантский аттрактор.

Собаки рождаются с ДНК собаки, а кошки — с ДНК кошки. В современном мире промежуточных вариантов нет. (Даже с помощью генной инженерии нельзя было бы просто взять и создать организм с половиной собачьих генов и половиной кошачьих). Нет такого, что существует взаимоусиливающий набор собачьих качеств, в который отдельная кошка может забрести наполовину и стать полусобакой.

Человеческий разум, мысля категориями, похоже, предпочитает сущности аттракторам. Человеку хочется сказать: «Это секта» или «Это не секта», и на этом задача классификации решена. Если вы видите, что у Сократа десять пальцев, он носит одежду и свободно говорит по-гречески, то можете сказать: «Сократ — человек», и отсюда сделать вывод: «Сократ уязвим для цикуты», не проводя специального анализа крови для подтверждения его смертности. Вы раз и навсегда определили человеческую сущность Сократа.

Но если вы замечаете, что некая группа людей демонстрирует поляризацию «мы — они» и видит положительный эффект ореола вокруг своего Самого Любимого Дела — которым может быть объективизм, вегетарианство или нейронные сети, — вы не можете на основе собранных на данный момент свидетельств сделать вывод, достигли ли они некритичности мышления. Вы не можете сделать вывод, истинна ли их главная идея, ложна или искренне полезна, но не настолько, как они думают. На основе собранной к этому моменту информации вы не можете сделать вывод, вежливы ли они в остальном или же они заманят вас в изоляцию и лишат сна и еды. Признаки сектантства не обязаны присутствовать или отсутствовать все разом.

Если вы посмотрите на интернет-споры о том, «является ли X сектой» или «не является ли X сектой», то одна сторона берет сетевой список признаков секты, находит тот, который подходит, и заявляет: «Следовательно, это секта!» А защитник находит признак, который не подходит, и заявляет: «Следовательно, это не секта!»

С помощью такого эссенциализма невозможно составить точную картину динамики мышления группы. Вам нужно рассматривать каждый признак в отдельности.

Кроме того, глупость наоборот — это еще не ум. Если вас интересует суть идеи, а не просто группа, которая ее воплощает, то помните, что у умных идей могут быть глупые последователи. Многие сторонники нью-эйджа рассуждают о «квантовой физике», но это не аргумент против квантовой физики. Разумеется, у глупых идей тоже могут быть глупые последователи. Рука об руку с бинарным эссенциализмом идет убеждение, что если вы пришли к выводу, будто группа — «секта», то ее убеждения обязательно должны быть ложными, поскольку ложные убеждения характерны для сект так же, как шерсть — для кошек. Если вас интересует идея, смотрите на саму идею, а не на людей. Сектантство — это характеристика скорее групп, нежели гипотез.

Вторая ошибка заключается в том, что когда люди нервно спрашивают: «Это же не секта, правда?», мне кажется, будто они ищут подтверждения собственной рациональности. Идея о том, что рационалисту не следует слишком привязываться к своему образу рационалиста, заслуживает отдельного эссе (впрочем, см. «Двенадцать добродетелей», «Зачем нужна истина? И...» и «Два сектантских коана»). Но даже без подробностей очевидно, что нервный поиск подтверждений — не лучший психологический настрой для оценки вопросов рациональности. Вы не будете искренне любопытны и не станете искать способы разрешить свои сомнения. Вместо этого вы найдете в интернете какой-нибудь источник, где написано, что секты используют депривацию сна для контроля над людьми, заметите, что Ваша Любимая Группа депривацию сна не практикует, и сделаете вывод: «Это не секта. Фух!» Раз у него нет шерсти, значит, это не кошка. Как обнадеживающе.

Но Любое Движение Стремится Стать Сектой, независимо от того, мудра его цель или глупа. Дихотомия «свой-чужой» и тому подобное — часть человеческой природы, а не какое-то особое проклятие мутантов. Рациональность — это исключение, а не правило. Чтобы удерживать рациональность