Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И это ещё не говоря обо всех прочих сложностях человеческой системы вознаграждения — использовании механизмов подкрепления в целом, и о том, что есть шоколад приятно, и предвкушать поедание шоколада приятно, но это разные виды удовольствия...

Но я не слишком жалуюсь на этот беспорядок.

Не знать собственных ценностей, возможно, не всегда весело, но по крайней мере не скучно.

*

149. Дырявые обобщения. Хорошо ли есть яблоки? Обычно да, но некоторые яблоки гнилые. У людей десять пальцев? У большинства из нас — да, но множество людей потеряли палец и тем не менее остаются «людьми».

Если только вы не спуститесь на уровень описания гораздо ниже любого макроскопического объекта — ниже обществ, ниже людей, ниже пальцев, ниже сухожилий и костей, ниже клеток, вплоть до частиц и полей, где законы действительно универсальны, — практически каждое обобщение, которое вы используете в реальном мире, будет дырявым.

(Хотя из этого правила, конечно, могут быть исключения...)

В основном с дырявыми обобщениями справляются так: ну, с ними просто приходится как-то справляться. Если магазин печенья почти всегда закрывается в 22:00, за исключением Дня благодарения, когда он закрывается в 18:00, а сегодня как раз Национальный день геноцида коренных американцев, вам лучше прийти до 18:00, иначе вы останетесь без печенья.

Нашей способности оперировать дырявыми обобщениями противостоит потребность в определенности — то, насколько сильно мы хотим раз и навсегда заявить, что у людей десять пальцев, и как сильно мы раздражаемся, когда приходится мириться с сохраняющейся неопределенностью. Повышение ставок может усилить потребность в определенности, что подавляет толерантность к сложности именно тогда, когда толерантность к сложности нужна больше всего.

Жизнь была бы сложной, даже если бы то, чего мы хотим, было простым (а это не так). Дырявость дырявых обобщений о том, «что делать дальше», просачивалась бы из дырявой структуры реального мира. Или, говоря иначе:

Инструментальные ценности часто не имеют описания, которое было бы одновременно компактным и локальным.

Представьте, что перед вами ящик с миллионом долларов. Ящик заперт не на обычный кодовый замок, а с помощью дюжины клавиш, управляющих механизмом, который может его открыть. Если вы знаете, как устроен механизм, вы можете вычислить, какие последовательности нажатий клавиш откроют ящик. Существует более одной последовательности клавиш, которая может заставить механизм открыть ящик. Но если вы введете достаточно неверную последовательность, механизм сожжет деньги. И если вы не знаете об устройстве механизма, то для вас не существует простых правил вроде «Нажатие любой клавиши трижды открывает ящик» или «Нажатие пяти разных клавиш без повторений сжигает деньги».

Существует компактное нелокальное описание того, какие клавиши нужно нажимать: вам нужно нажимать их так, чтобы они открыли ящик. Вы можете написать компактную компьютерную программу, которая вычисляет, какие последовательности клавиш хороши, плохи или нейтральны, но эта программа должна будет описывать сам механизм, а не только клавиши.

Точно так же существует локальное некомпактное описание того, какие клавиши нажимать: гигантская таблица соответствия результатов для каждой возможной последовательности. Это очень большая компьютерная программа, но в ней не упоминается ничего, кроме клавиш.

Но невозможно описать, какие последовательности клавиш хороши, плохи или нейтральны, так, чтобы это описание было одновременно простым и сформулированным исключительно в терминах самих клавиш.

Все может быть еще хуже, если существуют соблазнительные локальные обобщения, которые оказываются дырявыми. Нажатие большинства клавиш трижды подряд откроет ящик, но есть одна конкретная клавиша, которая сжигает деньги при первом же нажатии. Вы можете подумать, что нашли идеальное обобщение — локально описываемый класс последовательностей, который всегда открывает ящик, — в то время как вы просто не смогли представить себе все возможные пути работы механизма или не учли все побочные эффекты.

Механизм представляет собой сложность реального мира. Открытость ящика (что хорошо) и сжигатель (что плохо) представляют собой тысячи осколков желаний, из которых складываются наши терминальные ценности. Клавиши представляют собой действия, правила поведения и стратегии, доступные нам.

Если учесть, сколькими разными способами мы оцениваем результаты и насколько сложны пути, которыми мы к ним идем, поразительно, что вообще существует такая вещь, как полезные этические советы. (Самый странный из всех этих советов, но тем не менее полезный, гласит: «цель не оправдывает средства».)

Но и наоборот: сложность действий ничего не говорит о сложности целей. Часто можно встретить людей, которые мудро улыбаются и говорят: «Ну, мораль сложна, знаете ли, женское обрезание правильно в одной культуре и неправильно в другой, да и пытать людей — не всегда плохо. Как сильна в вас потребность в определенности, если вы думаете, что существуют простые правила».

Можно безоговорочно и прямо заявить, что убийство кого бы то ни было несет в себе огромную долю отрицательной терминальной полезности. Да, даже Гитлера. Это не значит, что вы не должны стрелять в Гитлера. Это значит, что чистая инструментальная полезность выстрела в Гитлера несет в себе огромную долю отрицательной полезности от его смерти и колоссально превосходящую ее долю положительной полезности от спасения всех тех жизней, которые будут сохранены в результате.

Многие совершают ошибку типов, о которой я предупреждал в главе «Терминальные ценности и инструментальные ценности», и думают, что если чистая ожидаемая полезность последствий смерти Гитлера признается положительной, то и непосредственная локальная терминальная полезность тоже должна быть положительной, а значит, моральный принцип «Смерть — это всегда плохо» сам по себе является дырявым обобщением. Но это двойной счет, только для полезностей, а не для вероятностей; вы создаете резонанс между ожидаемой полезностью и полезностью вместо одностороннего потока от полезности к ожидаемой полезности.

Или, возможно, это просто стремление к одностороннему спору о мерах: у наилучшей меры не должно быть никаких недостатков.

В моей моральной философии локальная отрицательная полезность смерти Гитлера стабильна, независимо от того, что происходит с внешними последствиями и, следовательно, с ожидаемой полезностью.

Конечно, вы можете построить моральный аргумент о том, что наказывать злых людей — это само по себе хорошо, вплоть до смертной казни для достаточно злых людей. Но этот аргумент нельзя обосновать, указывая на то, что последствием выстрела в целящегося из оружия человека может стать спасение других жизней. Это апелляция к ценности жизни, а не к ценности смерти. Если ожидаемые полезности дырявы и сложны, это не значит, что сами полезности тоже должны быть дырявыми и сложными.