Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

этот паттерн предпочтений не является нерациональным из-за «полезности определенности» или чего-то в этом роде. Один комментатор даже вписал U(определенности) в уравнение ожидаемой полезности.

Кто-нибудь помнит всю эту историю о том, что ожидаемая полезность и полезность относятся к принципиально разным типам? Полезности определены для исходов. Это ценности, которые вы приписываете конкретным, реальным состояниям мира. Вы не можете подставить вероятность, равную 1, в функцию полезности. В этом нет никакого смысла.

И прежде чем вы презрительно фыркнете: «Хм... вам просто хочется, чтобы математика была красивой и стройной», — вспомните, что в данном случае платой за отклонение от байесовского пути были деньги, которые вы отдали за переключение тумблера туда и обратно.

Но как насчет этого осязаемого, теплого чувства успокоения? Разве оно не является полезностью?

Это значит быть человеком. Люди не являются максимизаторами ожидаемой полезности. Хотите ли вы расслабиться и повеселиться или же доплатить за чувство определенности — зависит от того, что для вас важнее: удовлетворить свою интуицию или действительно достичь цели.

Если вы играете в Лас-Вегасе ради удовольствия, то, конечно же, не думайте об ожидаемой полезности — вы все равно проиграете деньги.

Но что если бы на кону стояли 24 000 жизней, а не 24 000 долларов? Эффект определенности проявляется еще сильнее, когда дело касается человеческих жизней. Заплатите ли вы одной человеческой жизнью за то, чтобы переключить тумблер, и еще одной — чтобы переключить его обратно?

Терпимость к реверсу предпочтений превращает в фарс любые притязания на оптимизацию. Если вы будете снова и снова ездить из Сан-Хосе в Сан-Франциско, оттуда в Окленд, а затем обратно в Сан-Хосе, вы, возможно, и получите от этого массу тёплых и пушистых чувств, но никто не скажет, что у вас есть пункт назначения — что вы пытаетесь куда-то приехать.

Когда ваши предпочтения закольцованы, вы не управляете будущим — вы просто бегаете по кругу. Если вам нравится бегать ради самого бега, то отлично. Но если у вас есть цель — то, чего вы действительно пытаетесь достичь, — реверс предпочтений указывает на серьезную проблему. Как минимум один из выборов, которые вы делаете, должно быть, никак не способствует оптимизации будущего в сколько-нибудь последовательном смысле.

Если все, что вас волнует, — это тёплое и пушистое чувство определённости, тогда ладно. Но если на кону стоит чья-то жизнь, то вам лучше осознать, что ваша интуиция — это засаленная линза, сквозь которую вы смотрите на мир. Ваши чувства не дают вам прямой, достоверной информации о стратегических последствиях — вам кажется, что дают, но это не так. Тёплые и пушистые чувства могут увести вас очень далеко в сторону.

Существуют математические законы, определяющие эффективные стратегии управления будущим. Когда на кону стоит что-то по-настоящему важное — что-то более важное, чем ваше ощущение счастья от принятого решения, — тогда вам должна быть небезразлична математика, если вам вообще хоть что-то небезразлично.

*

1. Сара Лихтенштейн и Пол Словик, «Reversals of Preference Between Bids and Choices in Gambing Decisions», Journal of Experimental Psychology 89, no. 1 (1971): 46–55.

2. Уильям Паундстоун, Priceless: The Myth of Fair Value (and How to Take Advantage of It) (Hill & Wang, 2010).

3. Сара Лихтенштейн и Пол Словик (ред.), The Construction of Preference (Cambridge University Press, 2006).

4. Канеман и Тверски, «Prospect Theory: An Analysis of Decision Under Risk».

285. Ощущение собственной добродетели.

Предположим, что людей убивает какая-то болезнь, чудовище, война или что-то еще. И предположим, что у вас есть ресурсы для реализации только одного из двух следующих вариантов:

Спасти 400 жизней, гарантированно.

Спасти 500 жизней с вероятностью 90%; не спасти никого с вероятностью 10%.

Большинство людей выбирают первый вариант. Что, на мой взгляд, глупо; ведь если умножить 500 жизней на 90% вероятности, мы получим математическое ожидание в 450 жизней, что превышает 400 жизней первого варианта. (Предельная полезность спасенных жизней не убывает, так что подобный расчет абсолютно корректен.)

«Что?! — возмущенно кричите вы. — Как можно играть в рулетку человеческими жизнями? Как можно думать о цифрах, когда на кону стоит так много? Что, если сработают эти 10% и погибнут все? Грош цена вашей проклятой логике! Ваша рациональность ведет вас прямиком в пропасть!»

О, но вот что интересно. Если представить эти варианты по-другому:

100 человек гарантированно погибают.

90% шанс, что не погибнет никто; 10% шанс, что погибнут 500 человек.

Тогда большинство выбирает второй вариант. Хотя это абсолютно та же ставка. Видите ли, точно так же, как определенность спасения 400 жизней ощущается гораздо более комфортной, чем негарантированный выигрыш, гарантированная потеря ощущается хуже, чем неопределенная.

Здесь тоже можно эффектно поработать на публику: «Как вы можете обрекать 100 человек на верную смерть, когда есть столь высокий шанс спасти всех? Мы разделим этот риск на всех! Даже если бы шанс спасти всех составлял всего 75%, это все равно стоило бы того — пока остается надежда — либо спасутся все, либо никто!»

Знаете что? Речь идет вовсе не о ваших чувствах. Человеческая жизнь со всеми ее радостями и горестями, накапливающимися на протяжении десятилетий, стоит неизмеримо больше, чем ощущения комфорта или дискомфорта, которые ваш мозг испытывает от того или иного плана. Расчет ожидаемой полезности кажется вам слишком хладнокровным? Что ж, это чувство не весит и пушинки на чаше весов, когда на кону человеческая жизнь. Просто заткнитесь и умножайте.

Гугол — это 10100, единица со ста нулями. Гуголплекс — еще более непостижимо огромное число: это 10гугол, то есть единица, за которой следует гугол нулей. Теперь возьмите какое-нибудь незначительное неудобство вроде икоты и явно значительное несчастье — например, когда садистские акулы-мутанты медленно разрывают человека на части. Если бы нам пришлось выбирать между предотвращением икоты у гуголплекса людей и предотвращением одного нападения акулы на человека, какой выбор нам следовало бы сделать? Если вы приписываете икоте хоть какое-то отрицательное значение, то, под страхом противоречивости в рамках теории решений, должно существовать некое количество случаев икоты, которые в сумме сравняются по отрицательной полезности с нападением акулы. Для любого конкретного конечного зла должно существовать какое-то количество случаев икоты, которое окажется еще хуже.

Подобные моральные дилеммы — это не концептуальные гладиаторские бои для развлечения аналитических философов на званых обедах. Это дистиллированные версии ситуаций, в которых мы действительно оказываемся каждый день. Потратить ли