Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Отсюда вытекает второй вопрос: Как нам туда добраться? Каково соотношение между благими целями и благими средствами?

Играя в игру, мы хотим получать удовольствие от самого процесса. Обычно мы не стремимся сразу перескочить к моменту, когда нас объявят победителем. Порой путь важнее, чем цель. А порой путь — это всё, что имеет значение.

И всё же бывают случаи, когда верно прямо противоположное. Порой конечный результат слишком важен, чтобы «путь» вообще принимался в расчёт при принятии решений. Если вы пытаетесь спасти жизнь близкому человеку, то получать удовольствие от процесса — не обязательно плохо; но если вы можете значительно повысить шансы на успех, выбрав менее приятную стратегию...

Во многих случаях наши ценности сосредоточены в результатах наших действий и в нашем будущем. Нам не всё равно, каким в итоге окажется мир — особенно те его части, которые способны любить, страдать и желать.

Как в подобных случаях отстранённые, абстрактные теории соотносятся с яркими, эмоционально окрашенными чувствами? И шире: какова моральная взаимосвязь между действиями и последствиями?

Это трудные вопросы, но, возможно, мы сможем хотя бы продвинуться в понимании того, что именно мы под ними имеем в виду. Что мы закладываем в наше представление о «ценном» в самом начале нашего исследования?

*

1. Вот пример трансгуманистического аргумента: «Вполне реально покончить со старением и болезнями за несколько десятилетий или веков. Это фактически положит конец смерти от естественных причин, поставив нас в равные условия с организмами с пренебрежимым старением — омарами, исполинскими черепахами Альдабры и т. д. Следовательно, нам следует инвестировать в профилактику заболеваний и технологии против старения». Эта идея относится к трансгуманистическим, поскольку устранение основных причин травм и смерти радикально изменило бы человеческую жизнь.

Бостром и Савулеску анализируют аргументы за и против радикального улучшения человека — например, возражение Сэндела о том, что излишнее вмешательство в нашу биологию ослабит ощущение жизни как «дара».2,3 «История трансгуманистической мысли» Бострома задаёт контекст для этой дискуссии.4

2. Ник Бостром, «История трансгуманистической мысли», Journal of Evolution and Technology 14, № 1 (2005): 1–25, http://www.nickbostrom.com/papers/history.pdf.

3. Майкл Сэндел, «Что не так с улучшением», справочные материалы для Совета президента по биоэтике (2002).

4. Ник Бостром и Джулиан Савулеску, «Этика улучшения человека: состояние дискуссии», в сборнике Human Enhancement, под ред. Ника Бострома и Джулиана Савулеску (2009).

Часть U. Ложные предпочтения.

257. Не ради одного лишь счастья.

Несколько лет назад, когда я встретился с футуристом Грегом Стоком, он утверждал, что радость научного открытия вскоре будет заменена таблетками, способными симулировать радость научного открытия. Я подошел к нему после выступления и сказал: «Я согласен, что такие таблетки, скорее всего, возможны, но сам бы не стал принимать их добровольно».

А Сток ответил: «Но они будут настолько лучше, что подлинное чувство не выдержит конкуренции. Вам будет куда приятнее принимать таблетки, чем выполнять всю реальную научную работу».

А я сказал: «Я согласен, что это возможно, поэтому я позабочусь о том, чтобы никогда их не принимать».

Сток, казалось, был искренне удивлен моим отношением, что искренне удивило меня. Часто можно встретить этиков, рассуждающих так, будто все человеческие желания в принципе сводимы к стремлению к счастью — нашему собственному и других людей. (В частности, Сэм Харрис делает это в книге «Конец веры», которую я только что закончил читать — хотя редукция у Харриса выглядит скорее как наскок мимоходом, чем как важная тема обсуждения.)1

Это не то же самое, что спорить о том, можно ли измерить все виды счастья по единой шкале полезности — разные виды счастья могут находиться на разных шкалах или быть иным образом несопоставимы. И это не то же самое, что утверждать, будто теоретически невозможно ценить что-либо, кроме собственного психологического состояния, поскольку всё ещё позволительно заботиться о том, счастливы ли другие люди.

Вопрос, скорее, в том, должны ли мы ценить то, что делает нас счастливыми, безотносительно приносимого этим счастья.

Мы легко можем перечислить множество случаев, когда моралисты сбивались с пути, заботясь о вещах помимо счастья. Различные штаты и страны, где оральный секс до сих пор вне закона, служат хорошим примером; тамошним законодателям было бы лучше сказать: «Эй, лишь бы вас это заводило». Но это не доказывает, что все ценности сводятся к счастью; это лишь говорит о том, что в данном конкретном случае фокусироваться на чём-то другом было этической ошибкой.

Несомненно, мы склонны делать то, что делает нас счастливыми, но это не значит, что мы должны считать счастье единственной причиной так поступать. Во-первых, это затруднило бы объяснение того, как мы вообще можем заботиться о чужом счастье — как мы можем относиться к людям как к самоцели, а не как к инструментальному средству для получения теплого чувства удовлетворения.

Во-вторых, если нечто является следствием моего действия, это ещё не значит, что оно было единственным его оправданием. Если я пишу пост в блог и у меня разболелась голова, я могу принять ибупрофен. Одно из последствий моего действия состоит в том, что я испытываю меньше боли, но это не значит, что оно было единственным последствием или даже главной причиной моего решения. Я действительно ценю состояние, когда голова не болит. Но я могу ценить что-то само по себе и в то же время ценить это как средство достижения цели.

Чтобы свести любую ценность к счастью, недостаточно показать, что счастье задействовано в большинстве наших решений. Недостаточно даже доказать, что счастье — самое важное последствие во всех наших решениях: оно должно быть единственным последствием. Этому критерию крайне непросто соответствовать. (Впервые я наткнулся на эту мысль в статье Собера и Уилсона, не помню точно в какой.)

Если я утверждаю, что ценю искусство ради самого искусства, стал бы я ценить произведение, которое никто никогда не видел? Например, экранную заставку, которая работает в пустой закрытой комнате, генерируя прекрасные картины, невидимые ни для кого? Пожалуй, нет. Я не могу припомнить ни одного полностью безжизненного объекта, который я ценил бы как цель, а не как средство. Это было бы похоже на признание ценности мороженого самого по себе, без привязки к тому, ест ли его кто-нибудь. Всё, что я ценю, из того, что я могу вспомнить, на каком-то