Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

есть ритуал, во время которого из кубка отливают десять капель вина — по капле на каждую из десяти казней египетских, чтобы подчеркнуть страдания египтян. (Разумеется, вам полагается сострадать египтянам, но не настолько сильно, чтобы встать и заявить: «Это несправедливо! Так поступать неправильно!») Это являет собой интересный контраст: раввины были существенно добрее составителей Ветхого Завета и потому видели жестокость казней. Но наука в те дни была слабее, и раввины могли размышлять о неприятных аспектах Писания, не боясь, что это полностью разрушит их веру.

Вы даже не задаётесь вопросом, выставляет ли этот эпизод Бога в дурном свете, так что нет нужды поспешно выпаливать: «Пути Господни неисповедимы!», или «Мы недостаточно мудры, чтобы сомневаться в решениях Бога!», или «В убийстве младенцев нет ничего плохого, если это делает Бог!» Об этой части вопроса просто-не-думают.

Причина того, что образованные верующие люди остаются религиозными, подозреваю, кроется в том, что, когда они сомневаются, они подсознательно стараются атаковать собственные убеждения лишь в самых сильных местах — там, где их заведомо можно защитить. Более того, в тех местах, где повторение стандартной защиты приносит ощущение укрепления веры.

Наверняка очень приятно, например, прокручивать в голове заранее заготовленную защиту от вопроса: «Разве наука не говорит, что Вселенная — это просто бессмысленные атомы, хаотично снующие туда-сюда?», ведь это подтверждает осмысленность Вселенной и то, как этот смысл проистекает от Бога, и так далее. Размышлять об этом гораздо комфортнее, чем о неграмотной египетской матери, рыдающей над колыбелью своего убитого сына. Тот, кто спонтанно задумывается о последнем, сомневаясь в своей вере в иудаизм, сомневается в ней по-настоящему и, скорее всего, недолго останется иудеем.

Моя цель здесь не в том, чтобы просто нападать на ортодоксальный иудаизм. Я уверен, что на казнь первенцев найдётся то или иное оправдание, а возможно, и целый десяток. Моя мысль в том, что когда дело доходит до спонтанных сомнений, человек гораздо охотнее спонтанно атакует собственные сильные стороны, для которых у него готовы утешительные ответы, нежели спонтанно бьёт по самым слабым, наиболее уязвимым местам. Подобным образом человек, скорее всего, остановится на первом же ответе и успокоится, вместо того чтобы подвергнуть этот ответ дальнейшей критике. Более подходящим названием, чем «Избегание реальных слабых мест своих убеждений», было бы «Отсутствие спонтанных мыслей о самых болезненных слабостях своих убеждений».

Власть религии держится прежде всего на том, что люди просто-не-думают о реальных слабых местах своей веры. Я не считаю это делом привычки или обучения — это вопрос инстинкта. Люди не думают о настоящих слабых местах своих убеждений по той же причине, по которой не прикасаются к раскалённым конфоркам плиты: это больно.

Чтобы поступать правильнее: когда вы сомневаетесь в одном из своих самых заветных убеждений, закройте глаза, освободите разум, стисните зубы и намеренно подумайте о том, что ранит сильнее всего. Не прокручивайте в голове стандартные возражения, стандартные контраргументы к которым принесут вам облегчение. Спросите себя, что умные несогласные с вами люди возразили бы на ваш первый ответ, а затем на ваш второй ответ. Всякий раз, когда вы ловите себя на том, что отшатываетесь от мимолётно возникшего возражения, вытаскивайте его на передний план своего сознания. Ударьте себя в солнечное сплетение. Вонзите нож в собственное сердце и покачайте им, чтобы расширить рану. Перед лицом боли повторяйте лишь это:

То, что истинно, уже таково.

Признание этого не делает его хуже.

Попытки закрыть на это глаза не заставят его исчезнуть.

И поскольку оно истинно, именно с ним нам предстоит взаимодействовать.

Того, что ложно, не существует, чтобы этим жить.

Люди могут вынести то, что истинно,

ведь они уже это выносят.

— Юджин Джендлин1

(Спасибо Стивену Омохундро за наводку.)

*

1. Юджин Т. Джендлин, «Фокусинг» (Bantam Books, 1982).

75. Мотивированная остановка и мотивированное продолжение.

Хотя я и не согласен с некоторыми взглядами сторонников школы «быстрых и экономных» — на мой взгляд, они слишком уж часто делают из лимонов лимонад, — мне также кажется, что они создают самые психологически реалистичные модели среди всех школ теории принятия решений. В большинстве экспериментов испытуемым предлагают готовые варианты, испытуемый выбирает один из них, и это и есть результат эксперимента. Фругалисты поняли, что в реальной жизни варианты приходится генерировать самостоятельно, и исследовали, как именно испытуемые это делают.

Точно так же, хотя во многих экспериментах свидетельства преподносятся на блюдечке с голубой каёмочкой, в реальной жизни вам приходится собирать свидетельства (что может быть весьма затратно) и в какой-то момент решать, что данных уже достаточно, чтобы остановиться и сделать выбор. Когда вы покупаете дом, вам не предлагают ровно десять вариантов на выбор и не водят по каждому из них с экскурсией, прежде чем разрешить принять решение. Вы смотрите один дом, затем другой, сравниваете их; вы корректируете свои запросы — заново обдумываете, насколько важно жить близко к работе и сколько вы действительно готовы заплатить; решаете, какой дом посмотреть следующим; и в какой-то момент понимаете, что увидели достаточно, и делаете выбор.

Проведенное Джиловичем различие между мотивированным скептицизмом и мотивированной доверчивостью показывает, что к выводам, в которые человек верить не хочет, предъявляются гораздо более строгие требования, чем к выводам, в которые он верить хочет. Мотивированный скептик спрашивает, вынуждают ли его имеющиеся свидетельства принять этот вывод; мотивированный легковер спрашивает, позволяют ли они его принять.

Я полагаю, что аналогичным искажением при психологически реалистичном поиске являются мотивированная остановка и мотивированное продолжение: когда у нас есть скрытый мотив выбрать «лучший» на данный момент вариант, у нас появляется скрытый мотив остановиться, сделать выбор и отказаться от рассмотрения любых других альтернатив. Когда у нас есть скрытый мотив отвергнуть текущий лучший вариант, у нас возникает скрытый мотив отложить принятие решения до появления дополнительных свидетельств, нагенерировать еще вариантов — найти хоть что-нибудь, сделать что угодно вместо того, чтобы прийти к выводу.

Крупным историческим скандалом в статистике стала позиция Р. А. Фишера, выдающегося основателя этой науки, который настаивал на том, что причинно-следственная связь между курением и раком легких не доказана. «Корреляция не означает причинность», — заявлял он на слушаниях в Конгрессе. Возможно, у курильщиков был ген, который одновременно предрасполагал их и к курению, и к раку легких.

А возможно, работа Фишера консультантом в табачных компаниях создала у него скрытый мотив решить, что собранных данных еще недостаточно для окончательного вывода и лучше