Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

*

59. Весы Правосудия, блокнот Рациональности.

Богиню Правосудия обычно изображают с весами. Весы обладают тем свойством, что всё, что тянет вниз одну чашу, поднимает другую. Благодаря этому за ходом спора очень легко следить. Но обычно это оказывается грубым искажением реальности.

В человеческом общении существует естественная склонность воспринимать дискуссию как форму борьбы, продолжение войны или спорт; а в спорте нужно лишь следить за тем, сколько очков набрала каждая команда. Сторон всего две, и каждое очко, набранное против одной стороны, — это очко в пользу другой. Каждый зритель мысленно ведёт подсчёт того, сколько очков каждый оратор зарабатывает против соперника. В конце дебатов оратор, набравший больше очков, очевидно, становится победителем; а значит, всё, что он говорит, должно быть правдой, а всё, что говорит проигравший, — неверным.

В исследовании «Эвристика аффекта в оценках рисков и выгод» изучалось, смешивают ли испытуемые свои оценки потенциальной выгоды технологии (например, ядерной энергетики) и её потенциальных рисков в единое общее хорошее или плохое отношение к ней.1 Представьте, что сначала я говорю вам, что определенный тип ядерного реактора производит меньше радиоактивных отходов, чем конкурирующие конструкции. Но затем я добавляю, что этот реактор менее стабилен, чем альтернативные варианты, и риск расплавления активной зоны выше, если одновременно произойдет достаточное количество сбоев.

Если вероятность расплавления реактора выше, это кажется «очком против» реактора или «очком против» того, кто выступает за его строительство. А если реактор производит меньше отходов, то это «очко в пользу» реактора или его строительства. Противостоят ли эти два факта друг другу? Нет. В реальном мире — нет. Эти два факта могут приводиться разными сторонами в одной и той же дискуссии, но логически они не связаны; факты не знают, на чьей они стороне.

Если пассивная безопасность реактора (то, что он не перейдет в сверхкритическое состояние, даже если выйдут из строя внешние системы охлаждения и тому подобное) является физическим фактом его конструкции, это не означает, что реактор обязательно будет производить меньше отходов или вырабатывать более дешевую электроэнергию. Всё это было бы здорово, но это разные достоинства. Объём производимых реактором отходов обусловлен одними его свойствами. Другие же физические свойства делают ядерную реакцию более нестабильной. Даже если здесь играют роль одни и те же особенности конструкции, вам всё равно нужно отдельно оценивать вероятность расплавления активной зоны и ожидаемый годовой объем производимых отходов. Это два разных физических вопроса с двумя разными фактическими ответами.

Однако исследования, подобные упомянутому выше, показывают, что люди склонны судить о технологиях — и о многих других проблемах — на основе общего хорошего или плохого ощущения. Если сказать людям, что конструкция реактора производит меньше отходов, они оценивают вероятность его расплавления как более низкую. А это означает неверные ответы на физические вопросы, имеющие вполне определённые фактические ответы, — ведь вы смешиваете логически независимые вопросы и относитесь к фактам как к солдатам на войне, думая, что любого бойца с одной стороны можно выставить против любого бойца с другой.

Весы — вовсе не такой уж неподходящий инструмент для Богини Правосудия, если она расследует сугубо фактический вопрос виновности или невиновности. Либо Джон Смит убил Джона Доу, либо нет. Э. Т. Джейнс учит нас, что все байесовские свидетельства представляют собой потоки вероятностей `между` гипотезами; не существует такого понятия, как свидетельство, которое просто «поддерживает» или «опровергает» одну-единственную гипотезу, — оно делает это лишь в той мере, в какой другие гипотезы справляются хуже или лучше. Пока Богиня Правосудия исследует `один-единственный`, сугубо `фактический` вопрос с `бинарным` пространством ответов, весы были бы вполне подходящим инструментом. Но если Юстиции приходится рассматривать более сложные проблемы, ей следует выпустить из рук либо весы, либо меч.

Не всякие споры сводятся к простому движению чаш вверх или вниз. Госпожа Рациональность носит с собой блокнот, куда записывает все факты, которые не стоят ни на чьей стороне.

*

1. Мелисса Л. Финукейн и др., «The Affect Heuristic in Judgments of Risks and Benefits», `Journal of Behavioral Decision Making 13, no. 1 (2000): 1–17.

60. Искажение соответствия.

Искажение соответствия — это склонность делать выводы об уникальных и устойчивых качествах человека на основании его поведения, которое может быть полностью объяснено ситуацией, в которой оно происходит.

— Джилберт и Мелоун1

Мы склонны усматривать слишком уж прямое соответствие между чужими поступками и личностью. Когда мы видим, как кто-то пинает торговый автомат без видимой причины, мы предполагаем, что он «агрессивный человек». Но когда вы сами пинаете торговый автомат, это происходит потому, что автобус опоздал, поезд ушел раньше времени, отчет просрочен, а теперь этот проклятый автомат уже второй день подряд сжирает ваши деньги на обед. Уж конечно, думаете вы про себя, любой в такой ситуации пнул бы этот автомат.

Мы приписываем собственные действия ситуациям, видя в своем поведении совершенно нормальную реакцию на происходящее. Но когда кто-то другой пинает торговый автомат, мы не видим шлейфа его предыстории, тянущегося за ним по воздуху. Мы просто видим пинок без какой-либо известной нам причины и думаем, что этот человек, должно быть, вспыльчив от природы — раз уж он сорвался безо всякого повода.

Однако подумайте об априорных вероятностях. Опоздавших автобусов в мире куда больше, чем мутантов, рожденных с неестественно высоким уровнем гнева, заставляющим их время от времени спонтанно пинать торговые автоматы. Вообще-то среднестатистический человек действительно является мутантом. Если я правильно помню, у обычного индивидуума есть от двух до десяти соматически выраженных мутаций. Но вероятность того, что пострадает какой-то конкретный участок ДНК, крайне мала. Точно так же и любая отдельная черта характера человека, скорее всего, не слишком отличается от средней. Утверждать обратное — значит взваливать на себя бремя невероятности.

Даже когда людям прямо сообщают о ситуационных причинах, они, похоже, не делают на это должной скидки при оценке наблюдаемого поведения. Когда испытуемым говорят, что докладчику случайным образом поручили выступить в защиту или против абортов, они всё равно думают, что докладчик склоняется к случайно доставшейся ему позиции.2

Кажется вполне естественным объяснять дождь духами воды; объяснять огонь огненной субстанцией (флогистоном), покидающей горящее вещество; объяснять снотворное действие лекарства тем, что оно обладает «усыпительной силой». Реальность обычно устроена сложнее: цикл испарения и конденсации в основе дождя,