Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«Орлы» предприняли ответный налет на «Змей», переворачивая кровати и разбрасывая грязь. Затем они вернулись в свою хижину, где забаррикадировались и приготовили оружие (носки, набитые камнями) на случай ответного штурма. После того как «Орлы» выиграли последнее состязание, запланированное на втором этапе, «Змеи» ворвались в их хижину и украли призы. Это переросло в драку, которую персоналу пришлось остановить из опасения травм. «Орлы», пересказывая эту историю друг другу, превратили всю эту историю в триумфальную победу — якобы они гнали «Змей» «больше половины пути обратно до их хижины» (на самом деле нет).

У каждой группы сложился негативный стереотип о «Них» и контрастирующий с ним позитивный стереотип о «Нас». «Змеи» отчаянно ругались. «Орлы» после победы в одной из игр пришли к выводу, что они выиграли благодаря своим молитвам, а «Змеи» проиграли, потому что постоянно сквернословили. Сами «Орлы» решили вообще отказаться от бранных слов. Они также решили, что раз «Змеи» постоянно ругаются, разумнее будет с ними не разговаривать. «Орлы» создали себе образ благовоспитанных и добродетельных; «Змеи» же сформировали образ грубых и крутых ребят.

Члены групп зажимали носы, когда мимо проходили представители соперников.

На третьем этапе исследователи попытались снизить напряженность между двумя группами.

Простой контакт (нахождение рядом без соревнований) не снизил напряженность. Совместное участие в приятных мероприятиях — например, запуск фейерверков на День независимости — тоже не помогло; напротив, все переросло в битву едой.

Хотите угадать, что действительно сработало?

(Место для спойлера . . .)

Мальчикам сообщили, что во всем лагере может закончиться вода из-за таинственной неисправности в водопроводе — возможно, по вине вандалов. (Внешний враг — один из старейших трюков в истории.)

Территорию между лагерем и резервуаром должны были осмотреть четыре поисковых отряда. (Изначально эти поисковые отряды были однородными — каждый состоял из членов только одной группы.) Если ничего не обнаружится, все отряды должны были встретиться у бака для воды. Поскольку ничего найдено не было, группы встретились у бака и сами убедились, что из крана не течет вода. Обе группы мальчиков обсудили, в чем может быть проблема, постучали по стенкам бака, нашли лестницу наверх, убедились, что бак полон, и наконец обнаружили мешок, застрявший в водопроводном кране. Все мальчики собрались вокруг крана, чтобы прочистить его. Предложения посыпались от членов обеих групп, и ребята с обеих сторон пытались воплотить их в жизнь.

Когда кран наконец прочистили, «Змеи», у которых были фляжки, не возражали против того, чтобы «Орлы» набрали воду первыми (у «Орлов» фляжек с собой не было). Не прозвучало ни одного оскорбления, даже привычного «Дамы вперед».

Это не положило конец соперничеству окончательно. На следующее утро случилась еще одна битва едой, сопровождавшаяся взаимными оскорблениями. Но еще несколько общих задач, требовавших совместных усилий обеих групп — например, завести заглохший грузовик, — сделали свое дело. В конце поездки «Змеи» потратили 5 долларов, выигранных в конкурсе по бросанию бобов, чтобы купить молочные коктейли для всех мальчиков из обеих групп.

Эксперимент «Пещера разбойников» иллюстрирует психологию племен охотников-собирателей, отголоски которой доносятся до нас сквозь века, так безупречно, как ни один другой эксперимент, когда-либо придуманный социальными науками.

Любое сходство с современной политикой — лишь плод вашего воображения.

(Иногда мне кажется, что вторая по значимости потребность человечества — это суперзлодей. Пожалуй, изберу это поприще, когда закончу со своей нынешней работой.)

*

1. Музафер Шериф и др., “Study of Positive and Negative Intergroup Attitudes Between Experimentally Produced Groups: Robbers Cave Study”, неопубликованная рукопись (1954).

112. Каждое Дело стремится стать культом.

Кейд Метц из The Register недавно заявил, что секретный список рассылки топ-администраторов Википедии стал одержим баном всех критиков и возможных критиков Википедии. Включая бан продуктивного пользователя после того, как один из администраторов — исключительно из-за этой продуктивности — уверился, что пользователь — шпион, подосланный Wikipedia Review. И что верхушка Википедии сплотила ряды, чтобы защитить своих. (Я сам пока не проверял эти утверждения. Спасибо за наводку Ойгену Лейтлю.)

Кроется ли какой-то глубокий нравственный изъян в стремлении систематизировать мировые знания, который неизбежно сводит с ума сторонников этого Дела? Возможно, только люди с врожденными тоталитарными наклонностями будут пытаться стать мировым авторитетом во всем —

Внимание: ошибка соответствия! (Ошибка соответствия: вывод о личных склонностях человека на основе поведения, которое можно полностью объяснить ситуацией, в которой оно происходит. Когда мы видим, как кто-то пинает торговый автомат, мы думаем, что это «агрессивный человек», но когда мы сами пинаем автомат, это потому, что автобус опоздал, поезд ушел раньше времени, а автомат сожрал наши деньги.) Если обвинения в адрес Википедии справедливы, они объясняются обычной человеческой природой, а не исключительной человеческой природой.

Деление на «своих» и «чужих» — часть обычной человеческой природы. То же касается радостных спиралей смерти и спиралей ненависти. Благородному Делу не нужен глубокий скрытый изъян, чтобы его приверженцы сплотились в сектантскую ингруппу. Достаточно того, чтобы сторонники были людьми. Всё остальное следует естественным образом, как распад по умолчанию — словно продукты, портящиеся в холодильнике после отключения электричества.

Точно так же, как любая разность температур стремится выровняться, а любая компьютерная программа стремится превратиться в нагромождение ситуативных заплаток, каждое Дело хочет стать культом. Это высокоэнтропийное состояние, к которому стремится система, аттрактор в человеческой психологии. И это может быть никак не связано с тем, насколько благородным Дело является на самом деле. Можно подумать, что Благородное Дело должно распространить свое благородство на все аспекты жизни связанных с ним людей — что его сторонники будут менее восприимчивы к статусным играм, предвзятости «свой — чужой», аффективным спиралям и лидерам-божествам. Но вера в одну истинную идею не отключит эффект ореола. Благородное дело не сделает своих сторонников кем-то большим, чем просто люди. Существует множество плохих идей, способных причинить массу вреда, — но дело здесь не обязательно в них.

Любая группа людей с необычной целью — хорошей, плохой или глупой — будет тяготеть к аттрактору культа, если только не будет прилагать постоянных усилий для сопротивления этому. Вы можете поддерживать в доме прохладу, когда на улице жарко, но для этого кондиционер должен работать постоянно, и как только вы отключите электричество — сдадитесь в борьбе с энтропией — всё вернется к «норме».

Был один известный случай, когда группа, приобретшая черты полукульта, сделала своим лозунгом «Рациональность! Разум! Объективная реальность!» (Об этом подробнее позже.) Навешивание на Великую Идею ярлыка