Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Среди аксиом, используемых для доказательства того, что выбор «последовательных» агентов можно представить как максимизацию ожидаемой полезности, есть аксиома независимости: если вариант X строго предпочтительнее варианта Y, то вероятность P получить X и (1 - P) получить Z должна быть строго предпочтительнее вероятности P получить Y и (1 - P) получить Z.

Все аксиомы являются как следствиями, так и предпосылками согласованной функции полезности. Следовательно, должно быть возможно доказать, что вышеупомянутые испытуемые не могут обладать согласованной функцией полезности в отношении исходов. И действительно, невозможно одновременно утверждать следующее:

U($24 000) > (33/34) × U($27 000) + (1/34) × U($0)

0,34 × U($24 000) + 0,66 × U($0) < 0,33 × U($27 000) + 0,67 × U($0).

Эти два уравнения алгебраически несовместимы при любом U, так что парадокс Алле никак не связан с убывающей предельной полезностью денег.

Морис Алле поначалу защищал выявленные предпочтения участников эксперимента: он считал, что этот опыт вскрывает изъян в традиционных представлениях о полезности, а не в человеческой психологии. В конце концов, на дворе стоял 1953 год, а направление исследований эвристик и когнитивных искажений сформируется лишь спустя два десятилетия. Алле полагал, что его эксперимент просто доказал: аксиома независимости явно не работает в реальной жизни.

(Как наивна, глупа и примитивна байесовская теория принятия решений...)

Конечно же, определенность получения $24 000 должна что-то да значить. Вы ведь чувствуете разницу, правда? Спокойную уверенность?

(Я начинаю называть это «наивным философским реализмом» — предположением, будто наша интуиция напрямую раскрывает истину о том, какие стратегии разумнее, словно превосходство 1A над 1B является непосредственно наблюдаемым фактом. Интуиция напрямую раскрывает лишь особенности когнитивных функций человека и только косвенно — после того как мы осмыслим сами эти когнитивные функции — указывают на истину о рациональности.)

«Да ладно вам, — скажете вы, — неужели отступление от байесовской красоты — это действительно так ужасно?» Ладно, испытуемые не следовали аккуратной «аксиоме независимости», которую отстаивали фон Нейман и Моргенштерн. Но кто сказал, что всё обязано быть стройным и гладким?

Зачем беспокоиться об элегантности, если из-за нее нам приходится идти на нежелательные риски? Ожидаемая полезность предписывает нам присвоить каждому исходу некое числовое значение, затем умножить его на вероятность этого исхода, сложить результаты и так далее. Хорошо, но почему мы должны поступать именно так? Почему бы вместо этого не придумать более приятные для нас правила?

За отход от байесовского пути всегда приходится платить. Именно в этом и заключается суть теорем о непротиворечивости и единственности.

В данном случае, если агент предпочитает 1A варианту 1B, а 2B — варианту 2A, возникает своеобразная инверсия предпочтений — динамическая несогласованность в его планировании. Вы превращаетесь в денежный насос.

Предположим, в 12:00 я бросаю стогранную кость. Если выпадает число больше 34, игра прекращается. В противном случае в 12:05 я проверяю положение переключателя, у которого есть два режима: A и B. Если выбран режим A, я выплачиваю вам $24 000. Если выбран режим B, я бросаю 34-гранную кость и выплачиваю вам $27 000, за исключением случая, когда выпадает «34» — тогда вы не получаете ничего.

Предположим, вы предпочитаете вариант 1A варианту 1B, а вариант 2B — варианту 2A, и готовы заплатить хотя бы цент, чтобы пойти на поводу у каждого из этих предпочтений. Переключатель изначально находится в положении A. До 12:00 вы платите мне цент, чтобы я перевел его в положение B. На кости выпадает 12. После 12:00, но до 12:05 вы платите мне еще один цент, чтобы я вернул переключатель в положение A.

Так я и забрал ваши «два цента» по этому поводу. Если вы потакаете своим интуитивным порывам и отмахиваетесь от простой элегантности как от бессмысленной одержимости порядком, то не удивляйтесь, когда у вас начнут отнимать ваши центы...

(Полагаю, та же неспособность пропорционально снижать эмоциональную значимость малых вероятностей лежит в основе популярности лотерей.)

*

1. Maurice Allais, “Le Comportement de l’Homme Rationnel devant le Risque: Critique des Postulats et Axiomes de l’Ecole Americaine,” Econometrica 21, no. 4 (1953): 2, doi:10.2307/1907921; Daniel Kahneman and Amos Tversky, “Prospect Theory: An Analysis of Decision Under Risk,” Econometrica 47 (1979): 263–292.

284. Зют Алле!

Ого! Я не ожидал, что столь многие комментаторы станут защищать реверс предпочтений. Похоже, я столкнулся с дистанцией умозаключений.

Для интерпретации парадокса Алле, вероятно, полезно лучше усвоить гештальт области эвристик и искажений, а именно:

Испытуемые в экспериментах склонны защищать свои непоследовательные предпочтения, даже когда те действительно нелепы.

Люди придают огромное значение небольшим сдвигам вероятности в сторону от 0 или 1 (эффект определенности).

Давайте начнем с проблемы непоследовательных предпочтений — реверсов предпочтений, динамической несогласованности, денежных насосов и тому подобного.

Любой, кто хоть немного знаком с теорией перспектив, без труда сконструирует случаи, когда люди говорят, что предпочли бы сыграть в лотерею А, а не в лотерею Б; но когда их просят оценить эти лотереи, они дают лотерее Б более высокую оценку, чем лотерее А. В фокус внимания попадают разные аспекты восприятия, когда вы спрашиваете «Что вы предпочитаете?» при прямом сравнении и «Сколько бы вы заплатили?» в случае единичного предложения.

Выбор между этими лотереями обычно порождает реверс предпочтений:

Шанс 1/3 выиграть 16 долларов и 2/3 проиграть 2 доллара.

Шанс 99/100 выиграть 4 доллара и 1/100 проиграть 1 доллар.

Большинство людей скорее предпочтут сыграть во вторую лотерею, чем в первую. Но если вы попросите их оценить эти ставки по отдельности — назвать сумму, при которой им было бы всё равно, получить ли эти деньги или возможность сыграть в лотерею, — люди оценят первую лотерею выше, чем вторую.1

Итак, сначала вы продаете им возможность сыграть по ставке 1 по названной ими цене. Затем вы предлагаете обменять ставку 1 на ставку 2. Затем вы выкупаете у них ставку 2 обратно по названной ими цене. А потом вы делаете это снова. Отсюда и выражение «денежный насос».

Или, перефразируя Стива Омохундро: если вы предпочли бы находиться в Окленде, а не в Сан-Франциско, в Сан-Хосе, а не в Окленде, и в Сан-Франциско, а не в Сан-Хосе, вы потратите кучу денег на поездки в такси.

Удивительно, но люди защищают подобные паттерны предпочтений.