Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Вот мои первые три мысли, по порядку:

Похоже, я и правда живу в Будущем.

Слава богу, не ядерный удар.

а затем

Чрезмерная реакция на это окажется в десять раз хуже самого события.

Оценка «в десять раз хуже» оказалась колоссальным преуменьшением. Даже я не предполагал, насколько плохо всё обернется. В этом и заключается сложность пессимизма: действительно трудно опустить планку ожиданий настолько, чтобы приятно удивляться так же часто и сильно, как и неприятно.

Тем не менее, я сразу понял, что все вокруг будут твердить, насколько это ужасное и чудовищное событие, и никто не осмелится стать голосом сдержанности, голосом соразмерного ответа. В первое время после 11 сентября считалось, что погибло шесть тысяч человек. Любого политика, который посмел бы сказать: «6000 смертей — это всего лишь одна восьмая ежегодных жертв автомобильных аварий в США», попросили бы уйти в отставку в тот же час.

Нет, 11 сентября не было хорошим днем. Но если каждый получает очки одобрения за то, что подчеркивает, как ему больно, и никто не смеет призвать к сдержанности при выборе силы ответного удара, то реакция неизбежно превысит соразмерный уровень — каким бы этот соразмерный уровень ни был.

Это еще более темное зеркало спирали счастливой смерти — спираль ненависти. Любой, кто нападает на Врага, — патриот; а всякий, кто пытается препарировать хотя бы одно негативное утверждение о Враге, — предатель. Но точно так же, как подавляющее большинство сложных утверждений ложны, подавляющее большинство негативных вещей, которые можно сказать о ком угодно, даже о худшем человеке в мире, не соответствуют действительности.

Думаю, лучшим примером здесь служит фраза: «угонщики-смертники были трусами». Проявите хоть немного здравого смысла! Чтобы добровольно направить самолет в здание, требуется определенное мужество. В списке их грехов трусости точно не значилось. Но, видимо, любая гадость, сказанная в адрес террориста, какой бы глупой она ни была, обязана быть правдой. Получил бы я еще больше очков одобрения, если бы обвинил «Аль-Каиду» в убийстве Джона Ф. Кеннеди? Или, может, если бы я обвинил их в сталинизме? Серьезно, трусость?

Да, то, что угонщики 11 сентября не были трусами, действительно важно. И не только для понимания реальной психологии врага. Ущерб от спиралей ненависти попросту слишком велик. Слишком опасно, когда в мире существует хоть какая-то мишень — будь то евреи или Адольф Гитлер, — в отношении которой негативные суждения оказываются важнее точных фактов.

Когда вооруженные силы насчитывают тысячи самолетов и сотни тысяч тяжело вооруженных солдат, стоит задуматься о том, что сама иммунная система способна нанести больше ущерба, чем девятнадцать парней и четыре гражданских самолета. США потратили миллиарды долларов и тысячи жизней солдат, выстрелив себе в ногу гораздо эффективнее, чем любая террористическая группировка могла только мечтать.

Если бы США полностью проигнорировали теракт 11 сентября — просто пожали плечами и отстроили здания заново — это было бы лучше, чем реальный ход истории. Но в политическом плане такого варианта не существовало. Даже если кто-то в глубине души и догадывался, что реакция иммунной системы нанесет больше вреда, чем сама болезнь, у американских политиков не оставалось иного способа сохранить карьеру, кроме как покорно шагнуть в ловушку «Аль-Каиды». Всякий, кто требует более жесткого ответа, — патриот. Всякий, кто препарирует патриотические утверждения, — предатель.

Поначалу звучали и более разумные реакции на 11 сентября, чем я ожидал. Помню, как один конгрессмен — уже не помню кто — сказал перед камерами: «Мы забыли, что первейшая цель правительства — это не экономика и не здравоохранение, а защита страны от нападения». У меня глаза округлились: политик смог сказать что-то, что не было лампочкой для аплодисментов. Эмоциональный шок, должно быть, был невероятно силен, если конгрессмен сказал нечто настолько... настоящее.

Но уже через пару дней подлинный шок прошел, и забота об имидже вернула себе полный контроль над политическим дискурсом. Затем спираль эскалации захватила власть целиком. Как только сдержанность становится чем-то немыслимым, независимо от того, с чего начинался дискурс, уровень ярости и глупости со временем может только расти.

*

111. Эксперимент «Пещера разбойников».

Задумывались ли вы когда-нибудь в детстве, не преследует ли ваш дурацкий «летний лагерь» какую-то сложную скрытую цель — скажем, что все это был научный эксперимент, а «вожатые» на самом деле были исследователями, наблюдавшими за вашим поведением?

Вот и я нет.

Но мы стали бы куда бóльшими параноиками, если бы прочитали книгу «Межгрупповой конфликт и сотрудничество: Эксперимент "Пещера разбойников"» Шерифа, Харви, Уайта, Худа и Шериф.1 В этом исследовании подопытными — прошу прощения, «отдыхающими» — были 22 мальчика, переходивших из пятого класса в шестой, отобранных из 22 разных школ Оклахома-Сити, из благополучных протестантских семей среднего класса, хорошо учившихся, с медианным IQ 112. Они были настолько хорошо социально адаптированы и похожи друг на друга, насколько исследователям вообще удалось подобрать.

Эксперимент, проведенный в атмосфере растерянности после Второй мировой войны, был призван исследовать причины — и возможные способы урегулирования — межгрупповых конфликтов. Как они собирались разжечь конфликт, чтобы его изучить? Что ж, 22 мальчиков разделили на две группы по 11 человек, и —

— и этого оказалось вполне достаточно.

Первоначальный план исследователей предполагал проведение эксперимента в три этапа. На первом этапе каждая группа обживалась на месте, не подозревая о существовании другой. Ближе к концу первого этапа группы должны были постепенно узнать друг о друге. На втором этапе серия соревнований и конкурсов с призами должна была столкнуть группы лбами.

Насчет второго этапа они могли бы и не утруждаться. Враждебность возникла почти в тот самый момент, когда группы узнали о существовании друг друга: они пользуются нашим лагерем, нашей бейсбольной площадкой. При первой же встрече группы принялись осыпать друг друга оскорблениями. Они дали себе названия — «Гремучие змеи» и «Орлы» (им не нужны были названия, пока они оставались единственной группой в лагере).

Когда, согласно заранее утвержденной процедуре эксперимента, были объявлены состязания и призы, соперничество между группами накалилось до предела. Первые два дня в играх еще проявлялось спортивное благородство, но оно быстро сошло на нет.

«Орлы» украли и сожгли флаг «Гремучих змей». «Змеи» совершили налет на хижину «Орлов» и украли джинсы их лидера, которые на следующий день выкрасили в оранжевый цвет и носили как знамя с надписью «Последний из Орлов».