Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Некоторые испытуемые отказываются от них после того, как им указывают на эффект денежного насоса, — пересматривают цену или меняют предпочтение, — но некоторые продолжают их защищать.

Однажды игроки в Лас-Вегасе разыгрывали подобные ставки на реальные деньги с помощью колеса рулетки. После игры один из исследователей попытался объяснить проблему несогласованности между их оценками и их выбором. Из стенограммы:2,3

САРА ЛИХТЕНШТЕЙН: «Что ж, а как насчет вашей оценки Ставки А? Изменилось ли ваше отношение к ней теперь, когда вы знаете, что выбираете одну ставку, но предлагаете больше за другую?»

ИСПЫТУЕМЫЙ: «Это как-то странно, но нет, у меня вообще нет никаких особых чувств по этому поводу. Просто так получилось. Это показывает, что с моим мышлением не всё гладко, но в остальном я... не испытываю никаких угрызений».

. . .

ЛИХТЕНШТЕЙН: «Могу я убедить вас в том, что это иррациональная модель?»

ИСПЫТУЕМЫЙ: «Нет, не думаю, что у вас получится, но можете попробовать».

. . .

ЛИХТЕНШТЕЙН: «Ну хорошо, теперь позвольте мне предложить вам так называемую игру в денежный насос, испробовать её на вас и посмотреть, понравится ли она вам. Если вы считаете, что Ставка А стоит 550 очков [после игры очки обменивались на доллары, хотя и не один к одному], то вы должны быть готовы отдать мне 550 очков, если я отдам вам эту ставку...»

. . .

ЛИХТЕНШТЕЙН: «Итак, у вас есть Ставка А, и я говорю: „О, вы ведь предпочли бы Ставку Б, верно?“»

. . .

ИСПЫТУЕМЫЙ: «Я теряю деньги».

ЛИХТЕНШТЕЙН: «Я куплю у вас Ставку Б. Буду щедрой: я заплачу вам больше 400 очков. Я заплачу вам 401 очко. Вы готовы продать мне Ставку Б за 401 очко?»

ИСПЫТУЕМЫЙ: «Ну, конечно».

. . .

ЛИХТЕНШТЕЙН: «Теперь я в выигрыше на 149 очков».

ИСПЫТУЕМЫЙ: «Отличный ход мысли с моей стороны. (смеется) И сколько раз мы будем это повторять?»

. . .

ЛИХТЕНШТЕЙН: «Что ж, думаю, я зашла так далеко в попытках надавить на вас, насколько это возможно без прямых оскорблений».

ИСПЫТУЕМЫЙ: «Это точно».

Хочется закричать: «Да сдайтесь вы уже наконец! Интуиция не всегда права!»

А еще есть этот странный феномен ценности, которую люди приписывают определенности. Мои книги уже упакованы для переезда, но, если я правильно помню, один эксперимент показал, что переход от 100%-й вероятности к 99%-й воспринимается людьми как более значительный, чем переход от 80%-й вероятности к 20%-й.

Проблема с приписыванием огромной дополнительной ценности определенности заключается в том, что определенность в один момент — это вероятность в другой.

В прошлый раз я рассказывал о парадоксе Алле:

1А. 24 000 долларов гарантированно.

1Б. Шанс 33/34 выиграть 27 000 долларов и шанс 1/34 не выиграть ничего.

2А. Шанс 34% выиграть 24 000 долларов и шанс 66% не выиграть ничего.

2Б. Шанс 33% выиграть 27 000 долларов и шанс 67% не выиграть ничего.

Наивный паттерн предпочтений в парадоксе Алле выглядит так: 1А > 1Б и 2Б > 2А. В таком случае вы заплатите мне за то, чтобы я переключил тумблер с А на Б, поскольку вы предпочли бы иметь 33%-й шанс выиграть 27 000 долларов, а не 34%-й шанс выиграть 24 000 долларов. Затем бросок кубика отсекает часть вероятностной массы. В обоих случаях у вас было как минимум 66% шанса не выиграть ничего. Бросок кубика устраняет эти 66%. И теперь вариант Б превращается в шанс 33/34 выиграть 27 000 долларов, а вариант А становится гарантией выигрыша в 24 000 долларов. О, прекрасная определенность! И вы снова платите мне, чтобы я переключил тумблер обратно с Б на А.

И вот, если бы я заранее предупредил, что собираюсь проделать всё это, неужели вы действительно захотели бы заплатить мне за переключение тумблера, а потом заплатить еще раз, чтобы я переключил его обратно? Или вы всё же предпочтете пересмотреть свои взгляды?

Каждый раз, когда вы оцениваете сдвиг вероятности с 24% до 23% как менее важный, чем сдвиг с ~1 до 99%, — каждый раз, когда вы пытаетесь придать изменению вероятности бо́льшую ценность из-за того, что оно находится близко к краю шкалы, — вы подставляетесь под подобного рода эксплуатацию. Я всегда могу выстроить цепочку событий, которая будет отсекать вероятностную массу по кусочку, пока вы не останетесь с «определенностью», переворачивающей ваши предпочтения. Определенность в один момент времени — это неопределенность в другой, и если вы настаиваете на том, чтобы считать расстояние от ~1 до 0,99 каким-то особенным, я могу заставить вас со временем изменить ваши предпочтения на противоположные и выкачать из вас немного денег.

Могу ли я, быть может, убедить вас в том, что этот паттерн нерационален?

Разумеется, если вы читаете эту книгу уже какое-то время, вы понимаете, что вы — сама система и процесс, читающие эти строки, — лишь несовершенный механизм. Ваши интуитивные представления не дают вам прямой, достоверной информации о правильном выборе. Если вы в это не верите, я бы с удовольствием сыграл с вами в парочку азартных игр.

Есть и другие игры, в которые можно играть с эффектом определенности. Например, если вы предложите кому-то гарантированные 400 долларов или же 80%-ю вероятность получить 500 долларов и 20%-ю вероятность получить 300 долларов, большинство обычно выбирает гарантированные 400 долларов. Но если вы предложите людям представить себя на 500 долларов богаче и спросите, что они предпочтут: гарантированную потерю 100 долларов или 20%-й шанс потерять 200 долларов, они обычно выбирают шанс потерять 200 долларов.4 Одно и то же распределение вероятностей исходов, разные описания, разный выбор.

Да, Вирджиния, вам действительно следует пытаться умножать полезность исходов на их вероятность. Действительно следует. Не стесняйтесь использовать чистую математику.

В парадоксе Алле определите, перевешивает ли 1 единица разницы между получением 24 000 долларов и ничем 33 единицы разницы между получением 24 000 долларов и 27 000 долларов. Если перевешивает, то предпочитайте 1А варианту 1Б, а 2А — варианту 2Б. Если 33 единицы перевешивают 1 единицу, то предпочитайте 1Б варианту 1А, а 2Б — варианту 2А. Что касается расчета полезности денег, я бы предложил использовать приближение, предполагающее, что полезность денег логарифмична. Если у вас уже куча денег, выбирайте Б. Если 24 000 долларов удвоят ваше нынешнее состояние, выбирайте А. Случай 2 или случай 1 — не имеет значения. Да, и обязательно оценивайте полезность общего объема активов — полезность конечных состояний мира, — а не изменения активов, иначе вы снова окажетесь непоследовательными.

Ряд комментаторов утверждал, что