Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

66. Человеческое зло и путаница в мыслях.

Джордж Оруэлл видел, как цивилизованный мир скатывается в тоталитаризм, как одна страна за другой поддается или развращается; сапог, наступающий на лицо человека, — навечно, и помните, что это навечно. Вы родились слишком поздно, чтобы застать времена, когда подъем тоталитаризма казался неостановимым, когда одна страна за другой становилась жертвой тайной полиции и громоподобного стука в дверь в полночь, в то время как профессора свободных университетов приветствовали чистки в Советском Союзе как прогресс. Для вас это звучит так же чуждо, как вымысел; вам трудно воспринимать это всерьез. Потому что в вашей ветви времени Берлинская стена пала. И если имя Оруэлла не высечено на одном из тех камней, то оно должно там быть.

Оруэлл видел судьбу человеческого рода и приложил отчаянное усилие, чтобы свернуть его с этого пути. Оружием Оруэлла была ясность слога. Оруэлл знал, что путаный язык — это путаное мышление; он знал, что человеческое зло и путаное мышление переплетаются, словно сопряженные нити ДНК:1

В наше время политическая речь и политическая публицистика — это по большей части защита того, чему нет оправдания. Такие вещи, как продолжение британского господства в Индии, чистки и депортации в России, сброс атомных бомб на Японию, действительно можно защищать, но только с помощью аргументов слишком жестоких для большинства людей и не вяжущихся с официальными целями политических партий. Поэтому политический язык должен состоять главным образом из эвфемизмов, предвзятых рассуждений и чистейшей туманной неопределенности. Беззащитные деревни бомбят с воздуха, жителей выгоняют в открытое поле, скот расстреливают из пулеметов, хижины поджигают зажигательными пулями — это называется УМИРОТВОРЕНИЕМ . . .

Оруэлл четко понимал цель своей ясности:

Если вы упростите свой язык, вы освободитесь от худших безумств ортодоксии. Вы не сможете говорить ни на одном из предписанных наречий, и когда вы сморозите глупость, ее нелепость будет очевидна даже вам самому.

Сделать нашу глупость очевидной даже для нас самих — в этом сама суть Overcoming Bias.

Зло крадется во тьме, таясь в неосвещенных закоулках разума. Мы оглядываемся назад с ясностью исторической перспективы и плачем, вспоминая спланированный голод времен Сталина и Мао, унесший десятки миллионов жизней. Мы называем это злом, потому что это было совершено по сознательному человеческому умыслу с целью причинить боль и смерть ни в чем не повинным людям. Мы называем это злом из-за отвращения, которое испытываем к нему, оглядываясь назад с ясностью исторической перспективы. Чтобы творящие зло могли избежать естественного противодействия, это отвращение должно оставаться скрытым. Ясности нужно избегать любой ценой. Подобно тому как люди с ясным взором склонны противостоять злу, которое они видят, так и человеческое зло, где бы оно ни находилось, стремится затуманить мышление.

1984 показывает это предельно жестко: главные злодеи Оруэлла — те, кто вырезал и ретушировал фотографии (что основано на реальной практике ретуширования снимков в Советском Союзе). На самом пике тьмы в Министерстве любви О’Брайен пытается пытками заставить Уинстона признать, что дважды два — пять:2

— Помните, — продолжал он, — запись в вашем дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да, — сказал Уинстон.

О’Брайен поднял левую руку тыльной стороной к Уинстону, спрятав большой палец и растопырив остальные четыре.

— Сколько пальцев я показываю, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, тогда сколько?

— Четыре.

Слово оборвалось судорожным вскриком от боли. Стрелка на шкале взлетела к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух с трудом врывался в его легкие и выходил с глубокими стонами, которые он не мог сдержать, даже стиснув зубы. О’Брайен наблюдал за ним, все так же держа четыре пальца вытянутыми. Он потянул рычаг назад. На этот раз боль утихла лишь незначительно.

Я не перестаю ужасаться тому, что вроде бы умные люди — такие как коллега Робина Хэнсона Тайлер Коуэн — не считают преодоление предвзятости чем-то важным. Но ведь речь идет о вашем разуме. О вашем человеческом интеллекте. Он отличает вас от обезьяны. Он построил этот мир. Вы не считаете важным то, как работает разум? Вы не считаете важными систематические сбои в его работе? Думаете, инквизиция пытала бы ведьм, будь все они идеальными байесианцами?

Тайлер Коуэн, судя по всему, считает, что преодоление предвзятости столь же предвзято, как и сама предвзятость: «Я рассматриваю блог Робина как пример предвзятости и даже как доказательство того, что предвзятость может быть весьма полезной». Я надеюсь, что это лишь результат чрезмерно абстрактного мышления в попытке казаться умным. Неужели Тайлер серьезно считает, что нечувствительность к масштабу ценности человеческих жизней стоит на одной доске со стремлением создавать планы, которые действительно спасут как можно больше людей?

Оруэллу приходилось бороться с похожим отношением — с представлением, будто признание любых различий есть юношеская наивность:

Стюарт Чейз и другие почти договорились до того, что все абстрактные слова лишены смысла, и использовали это как предлог для пропаганды своего рода политического квиетизма. Раз вы не знаете, что такое фашизм, как вы можете бороться с фашизмом?

Возможно, преодоление предвзятости выглядит не слишком захватывающе, если преподносить его как борьбу с всего лишь случайными ошибками. Возможно, труднее увлечься этим, когда нет явного зла, которому нужно противостоять. Так давайте предельно ясно осознаем: там, где в мире существует человеческое зло, где есть жестокость, пытки и преднамеренные убийства, их всегда окутывают когнитивные искажения. И там, где люди с ясным взором противостоят этим искажениям, скрытое зло дает отпор. У истины действительно есть враги. Если бы Overcoming Bias был информационным бюллетенем в старом Советском Союзе, каждого автора и комментатора Overcoming Bias сослали бы в исправительно-трудовые лагеря.

За всю историю человечества движущей силой каждого великого скачка вперед была новая ясность мысли. За исключением немногих природных катастроф, каждое великое бедствие порождалось глупостью. Наш последний враг — мы сами; и это война, и мы — солдаты.

*

1. Там же.

2. Джордж Оруэлл, 1984 (Signet Classic, 1950).

Часть G. Против рационализации.

67. Знание о когнитивных искажениях может навредить.

Однажды я попытался рассказать маме о