Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

to Quantity in Valuation of Public Goods: Contribution, Warm Glow, Budget Constraints, Availability, and Prominence», Journal of Experimental Psychology: Applied 2, № 2 (1996): 107–125, doi:10.1037/1076-898X.2.2.107.

7. Дэвид Фезерстонхаф и др., «Insensitivity to the Value of Human Life: A Study of Psychophysical Numbing», Journal of Risk and Uncertainty 14, № 3 (1997): 283–300, doi:10.1023/A:1007744326393.

282. Одна жизнь против целого мира. Кто спасет одну жизнь, тот как будто спас весь мир. — Талмуд, Санхедрин 4:5. Красивая мысль, не правда ли? Почувствуйте это приятное тепло.

Я могу подтвердить, что помощь одному человеку ощущается так же приятно, как и спасение всего мира. Как-то раз, когда я совсем выгорел за день и впустую тратил время в интернете — история эта довольно запутанная, но, по сути, мне удалось полностью изменить чью-то жизнь, оставив анонимный комментарий в блоге. Я не ожидал, что эффект окажется настолько масштабным, но так и произошло. Когда я узнал, чего мне удалось достичь, это подарило мне невероятный кайф. Эйфория длилась весь день и всю ночь, лишь немного утихнув на следующее утро. По ощущениям это было так же здорово (и в этом кроется пугающая деталь), как эйфория от крупного научного озарения — а до этого именно она служила для меня главным ориентиром того, каково это, должно быть, принимать наркотики.

Спасение одной жизни, вероятно, действительно ощущается так же здорово, как возможность стать первым человеком, который понял, что заставляет звезды светить. Оно, вероятно, действительно ощущается так же здорово, как спасение целого мира.

Но если перед вами, дорогой читатель, когда-нибудь встанет выбор между спасением одной жизни и спасением целого мира — спасайте мир. Пожалуйста. Потому что за этим приятным теплом скрывается чертовски большая разница. Для некоторых мысль о том, что спасти мир — это значительно лучше, чем спасти одну человеческую жизнь, покажется очевидной. Вроде утверждения, что шесть миллиардов долларов стоят больше, чем один доллар, или что шесть кубических километров золота весят больше, чем один кубический метр. (И не говоря уже о математическом ожидании ценности будущих поколений.) Почему же это может быть не очевидно? Что ж, предположим, существует качественный долг спасать любые жизни, какие только возможно, — тогда тот, кто спасает мир, и тот, кто спасает одну человеческую жизнь, просто выполняют один и тот же долг. Или предположим, что мы следуем древнегреческой концепции личной добродетели, а не консеквенциализму: человек, спасший мир, добродетелен, но не в шесть миллиардов раз добродетельнее того, кто спас одну человеческую жизнь. Или, возможно, ценность одной человеческой жизни уже настолько велика, что её невозможно осознать — так что мимолётная скорбь, которую мы испытываем на похоронах, представляет собой бесконечно малую, заниженную оценку того, что потеряно, — и поэтому переход к масштабам всего мира мало что меняет.

Я согласен, что одна человеческая жизнь имеет невообразимо высокую ценность. Но я также утверждаю, что две человеческие жизни обладают вдвое большей невообразимой ценностью. Или, выражаясь иначе: кто спасает одну жизнь, тот как будто спасает весь мир; кто спасает десять жизней, тот как будто спасает десять миров. Тот же, кто на самом деле спасает весь мир — не путать с притворным, риторическим «спасением мира», — как будто спасает межгалактическую цивилизацию.

Двое глухих детей спят на железнодорожных путях, на них мчится поезд. Вы видите это, но находитесь слишком далеко, чтобы спасти детей. Я поблизости, в пределах досягаемости, поэтому я бросаюсь вперёд и стаскиваю одного ребёнка с путей — а затем останавливаюсь и спокойно потягиваю диетическую пепси, пока поезд несётся на второго ребёнка. «Быстрее!» — кричите вы мне. — «Сделай что-нибудь!» Но (кричу я в ответ) я уже спас одного ребёнка с путей и, следовательно, «невообразимо» вырвался вперёд по очкам. Спасу я второго ребёнка или нет, мне всё равно зачтётся «невообразимо» доброе дело. Таким образом, у меня больше нет мотива действовать. Звучит как-то неправильно, не так ли?

Почему всё должно быть иначе, когда филантроп тратит 10 миллионов долларов на поиск лекарства от редкой, но крайне приметной смертельной болезни, которой страдают всего сто человек на всей планете, если те же самые деньги с равной вероятностью могут помочь найти лекарство от менее приметной болезни, уносящей жизни 10% от 100 000 человек? Я не думаю, что эта ситуация чем-то отличается. Когда на кону человеческие жизни, наш долг — максимизировать, а не довольствоваться малым; и этот долг имеет ту же силу, что и изначальный долг спасать жизни. Тот, кто сознательно выбирает спасти одну жизнь, когда мог бы спасти две — не говоря уже о тысяче жизней или целом мире, — обрекает себя на проклятие так же бесповоротно, как и любой убийца.

Тратить деньги на спасение жизней когнитивно непросто, поскольку клишированные методы, которые мгновенно приходят на ум, не работают или контрпродуктивны. (Позже я напишу, почему так обычно и происходит.) Стюарт Армстронг также указывает на то, что если уж мы презираем филантропа, неэффективно расходующего средства на спасение жизней, то нам следует быть последовательными и ещё сильнее презирать тех, кто мог бы тратить деньги на спасение жизней, но не делает этого.

*

283. Парадокс Алле. Выберите один из двух вариантов: 1A. Гарантированно получить $24 000. 1B. Шанс 33/34 выиграть $27 000 и шанс 1/34 остаться ни с чем.

Какой вариант кажется вам более привлекательным интуитивно? И какой бы вы выбрали в реальной жизни? А теперь, какой из следующих двух вариантов вы бы предпочли интуитивно и какой бы выбрали в реальной жизни?

2A. Шанс 34% выиграть $24 000 и шанс 66% остаться ни с чем.

2B. Шанс 33% выиграть $27 000 и шанс 67% остаться ни с чем.

Парадокс Алле — как назвал его сам Алле, хотя на самом деле это никакой не парадокс, — стал одним из первых конфликтов между теорией принятия решений и человеческим мышлением, экспериментально выявленных в 1953 году.1 Я слегка изменил его для простоты вычислений, но суть проблемы осталась прежней: большинство людей предпочитают вариант 1A варианту 1B, и большинство людей предпочитают вариант 2B варианту 2A. Более того, при внутригрупповом сравнении большинство испытуемых демонстрируют оба этих предпочтения одновременно.

Это проблема, поскольку варианты под номером 2 эквивалентны примерно трети шанса сыграть в варианты под