Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Но мне всё же кажется, что вы со своей точки зрения лишаете это чудо части его волшебства.

«Значит, вам трудно радоваться просто реальному. Любовь должна с чего-то начинаться. Она должна где-то войти в эту Вселенную. Это как спрашивать, с чего начинается сама жизнь. И хотя вы родились от отца и матери, а они, в свою очередь, произошли от своих живых родителей, если уходить далеко, далеко, далеко назад в прошлое, вы в конце концов придёте к репликатору, возникшему по чистой случайности — на границе между жизнью и нежизнью. То же самое и с любовью.

«Сложный паттерн должен объясняться причиной, которая сама ещё не является этим сложным паттерном. Объяснить нужно не просто событие, а саму его форму и структуру. Чтобы любовь впервые вошла во Время, она должна родиться из чего-то, что любовью не является; если бы это было невозможно, то и любви бы не существовало.

«Точно так же, как и самой жизни потребовалось, чтобы этот первый репликатор возник случайно — не имея родителей, но всё же имея причину: далеко, далеко в глубине причинно-следственной цепочки, которая привела к вам, 3,85 миллиарда лет назад, в какой-нибудь маленькой приливной луже.

«Возможно, дети ваших детей спросят, как получается, что они способны любить.

«И их родители ответят: „Потому что мы, те, кто тоже любит, создали вас, чтобы вы любили“.

«И дети ваших детей спросят: „Но почему любите вы?“

«И их родители ответят: „Потому что наши собственные родители, которые тоже любили, в свою очередь создали нас, чтобы мы любили“.

«Тогда дети ваших детей спросят: „Но с чего всё началось? Где предел этой рекурсии?“

«И их родители скажут: „Давным-давно, в далёких краях, в незапамятные времена, очень-очень давно, существовали разумные существа, которые сами не были созданы разумным творцом. Давным-давно существовали любящие, созданные тем, что само не любило.

«Давным-давно, когда вся цивилизация состояла из одной-единственной галактики, одной-единственной звезды — и одной-единственной планеты. Место под названием Земля.

«Давным-давно, в далёких краях, невероятно давно“».

*

Часть W. Количественный гуманизм.

281. Нечувствительность к масштабу.

Однажды трем группам испытуемых задали вопрос, сколько они готовы заплатить, чтобы спасти 2000 / 20 000 / 200 000 мигрирующих птиц от гибели в открытых нефтяных отстойниках. Группы ответили соответственно: 80, 78 и 88 долларов.1 Это и есть нечувствительность к масштабу или игнорирование масштаба: количество спасенных птиц — масштаб альтруистического действия — почти не повлияло на готовность платить.

Похожие эксперименты показали, что жители Торонто готовы заплатить за очистку всех загрязненных озер в Онтарио лишь ненамного больше, чем за очистку озер в каком-то конкретном регионе Онтарио,2 а жители четырех западных штатов США согласились бы заплатить лишь на 28% больше за защиту всех 57 заповедных зон в этих штатах, чем за защиту одной-единственной зоны.3 Люди мысленно представляют себе «одну измученную птицу со слипшимися от черной нефти перьями, которая не может взлететь».4 Этот образ, или прототип, вызывает определенный эмоциональный отклик, который главным образом и определяет готовность платить, — и этот образ одинаков во всех случаях. Что же касается масштаба, то о нем благополучно забывают: ни один человек не способен представить себе одновременно 2000 птиц, не говоря уже о 200 000. Обычно исследователи обнаруживают, что экспоненциальный рост масштаба приводит лишь к линейному росту готовности платить — возможно, это соответствует линейному времени, которое требуется нашим глазам, чтобы остекленеть при взгляде на нули; этот слабый аффект складывается с аффектом прототипа, а не умножается на него. Эта гипотеза известна как «оценка по прототипу».

Альтернативная гипотеза — «покупка морального удовлетворения». Люди тратят достаточно денег, чтобы почувствовать приятное тепло — ощущение выполненного долга. Сумма, необходимая для покупки этого приятного тепла, зависит от характера и финансового положения человека, но уж точно никак не связана с количеством птиц.

Мы нечувствительны к масштабу, даже когда на кону человеческие жизни: увеличение предполагаемого риска от хлорированной питьевой воды с 0,004 до 2,43 смертей в год на 1000 человек — то есть в 600 раз — повысило готовность платить лишь с 3,78 до 15,23 доллара.5 Барон и Грин не обнаружили никакого эффекта от изменения числа спасенных жизней в 10 раз.6

В статье под названием «Нечувствительность к ценности человеческой жизни: исследование психофизического онемения» собраны доказательства того, что наше восприятие человеческих смертей подчиняется закону Вебера — то есть следует логарифмической шкале, где «едва заметное различие» составляет постоянную долю от целого. Предложенная медицинская программа по спасению жизней руандийских беженцев получила гораздо большую поддержку, когда обещала спасти 4500 жизней в лагере из 11 000 беженцев, а не те же 4500 в лагере из 250 000 человек. Потенциальное лекарство от болезни должно было обещать спасение гораздо большего числа жизней, чтобы его сочли достойным финансирования, если изначально утверждалось, что болезнь уносит 290 000 жизней в год, а не 160 000 или 15 000.7

Мораль: если вы хотите быть эффективным альтруистом, вам нужно хорошенько все обдумывать той частью мозга, которая обрабатывает скучные чернильные нули на бумаге, а не только той, которая принимает близко к сердцу судьбу бедной, бьющейся в липкой нефти птицы.

*

1. Уильям Х. Десвуж и др., Measuring Nonuse Damages Using Contingent Valuation: An Experimental Evaluation of Accuracy, технический отчет (Research Triangle Park, NC: RTI International, 2010), doi:10.3768/rtipress.2009.bk.0001.1009.

2. Даниэль Канеман, «Comments by Professor Daniel Kahneman», в Valuing Environmental Goods: An Assessment of the Contingent Valuation Method, под ред. Рональда Дж. Каммингса, Дэвида С. Брукшира и Уильяма Д. Шульце, т. 1.B, Experimental Methods for Assessing Environmental Benefits (Totowa, NJ: Rowman & Allanheld, 1986), 226–235, http://yosemite.epa.gov/ee/epa/eerm.nsf/vwAN/EE-0280B-04.pdf/$file/EE-0280B-04.pdf.

3. Даниэл Л. Макфадден и Грегори К. Леонард, «Issues in the Contingent Valuation of Environmental Goods: Methodologies for Data Collection and Analysis», в Contingent Valuation: A Critical Assessment, под ред. Джерри А. Хаусмана, Contributions to Economic Analysis220 (New York: North-Holland, 1993), 165–215, doi:10.1108/S0573-8555(1993)0000220007.

4. Канеман, Ритов и Шкаде, «Economic Preferences or Attitude Expressions?».

5. Ричард Т. Карсон и Роберт Кэмерон Митчелл, «Sequencing and Nesting in Contingent Valuation Surveys», Journal of Environmental Economics and Management 28, № 2 (1995): 155–173, doi:10.1006/jeem.1995.1011.

6. Джонатан Барон и Джошуа Д. Грин, «Determinants of Insensitivity