Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

именно так поступать «разумно», пока этих денег на самом деле нет перед вами. Может быть, на данном этапе вы просто нечувствительны к философским дилеммам. Что если бы ваша дочь была больна болезнью, смертельной в 90% случаев, и в коробке A находилась бы сыворотка с 20% шансом на излечение, а в коробке B могла бы находиться сыворотка с 95% шансом на излечение? Что если бы на Землю мчался астероид, и в коробке A находился бы отражатель астероидов, срабатывающий в 10% случаев, а в коробке B мог бы находиться отражатель, срабатывающий в 100% случаев?

Почувствовали бы вы в этот момент соблазн сделать неразумный выбор?

Если бы на кону в коробке B стояло то, что вы не могли упустить? Что-то неизмеримо более важное для вас, чем собственная разумность? Если бы вам абсолютно необходимо было победить — победить по-настоящему, а не просто числиться победителем по определению?

Стали бы вы всеми силами желать, чтобы «разумным» решением было взять только коробку B?

Тогда, возможно, пришло время обновить ваше определение разумности.

Так называемые рационалисты не должны ловить себя на том, что завидуют простым решениям так называемых нерационалистов, ведь вы можете принять абсолютно любое решение по своему усмотрению. Оказавшись в подобном положении, вам не следует упрекать другого человека в том, что он не соответствует вашим представлениям о разумности. Вам следует понять, что вы неверно истолковали Путь.

Точно так же и в случае, если вы когда-либо поймаете себя на том, что разграничиваете «разумное» убеждение и убеждение, которое, скорее всего, на самом деле является истинным. Либо вы неправильно поняли разумность, либо ваша вторая интуиция просто ошибочна.

Разумеется, нельзя одновременно определять «рациональность» как выигрышный Путь и определять её же как байесовскую теорию вероятностей и теорию принятия решений. Однако выдвигаемый мною аргумент, как и мораль моего совета доверять Байесу, состоит в том, что законы, управляющие победой, действительно оказались математикой. Если когда-нибудь окажется, что Байес терпит неудачу — получает систематически меньшие награды в какой-то задаче по сравнению с лучшей альтернативой исключительно в силу своих решений, — тогда Байеса придётся выбросить за борт. «Рациональность» — это просто ярлык, который я использую для своих убеждений о выигрышном Пути, о Пути агента, улыбающегося с вершины гигантской кучи полезности. В настоящее время под этим ярлыком подразумевается байесовское мастерство.

Я понимаю, что это не сокрушительная критика каузальной теории принятия решений — для этого потребовалась бы целая книга или кандидатская диссертация, — но я надеюсь, это иллюстрирует моё базовое отношение к подобному пониманию «рациональности».

[Примечание 2015 года: к настоящему времени я написал подробное, объёмом с целую книгу, изложение теории принятия решений, которая доминирует над каузальной теорией принятия решений — «Вневременная теория принятия решений»5. Криптограф Вэй Дай ответил на это другой альтернативой каузальной теории — безобновленческой теорией принятия решений, которая доминирует как над каузальной, так и над вневременной теориями принятия решений. По состоянию на 2015 год лучшими актуальными обсуждениями этих теорий являются работа Дэниела Хинтце «Доминирование классов задач в предсказательных дилеммах»6 и работа Нейта Соареса и Бенджи Фалленштейна «На пути к идеализированной теории принятия решений»7.]

Вы не должны ловить себя на том, что разграничиваете выигрышный выбор и разумный выбор. И точно так же вы не должны разграничивать разумное убеждение и убеждение, которое с наибольшей вероятностью окажется истинным.

Вот почему я использую слово «рациональный» для обозначения моих убеждений о точности и победе — а не для обозначения вербальных рассуждений, или стратегий, гарантирующих успех, или того, что логически доказуемо, публично демонстрируемо или разумно.

Как говорил Миямото Мусаси:

Когда берёшь в руки меч, главное — это твоё намерение рассечь врага, какими бы ни были средства. Всякий раз, когда ты парируешь, бьёшь, делаешь выпад, наносишь удар или касаешься разящего меча противника, ты должен рассечь врага тем же самым движением. Добиться этого жизненно необходимо. Если ты думаешь лишь о том, чтобы ударить, сделать выпад, нанести удар или коснуться противника, у тебя не получится по-настоящему рассечь его.

*

1. Ричмонд Кэмпбелл и Лэннинг Сноуден (ред.), Парадоксы рациональности и сотрудничества: дилемма заключённого и задача Ньюкома (Ванкувер: University of British Columbia Press, 1985).

2. Марион Ледвиг, «Задача Ньюкома» (докторская диссертация, Констанцский университет, 2000).

3. Мусаси, Книга пяти колец.

4. Джеймс М. Джойс, Основания каузальной теории принятия решений (Нью-Йорк: Cambridge University Press, 1999), doi:10.1017/CBO9780511498497.

5. Юдковский, Вневременная теория принятия решений.

6. Дэниел Хинтце, «Доминирование классов задач в предсказательных дилеммах», дипломная работа (2014).

7. Нейт Соарес и Бенджа Фалленштейн, «На пути к идеализированной теории принятия решений», технический отчёт. Беркли, Калифорния: Научно-исследовательский институт машинного интеллекта (MIRI) (2014), http://intelligence.org/files/TowardIdealizedDecisionTheory.pdf.

Интерлюдия. Двенадцать добродетелей рациональности.

Первая добродетель — любопытство. Жгучий зуд познания выше, чем торжественный обет стремиться к истине. Чтобы испытывать жгучий зуд любопытства, вы должны одновременно и пребывать в незнании, и желать избавиться от своего незнания. Если в глубине души вы верите, что уже знаете, или если в глубине души вы не желаете знать, то ваши расспросы будут бесцельными, а ваши навыки — лишены направления. Любопытство стремится к самоуничтожению; нет такого любопытства, которое не желало бы ответа. Величие прекрасной тайны в том, чтобы быть разгаданной, после чего она перестает быть тайной. Остерегайтесь тех, кто говорит об открытости ума и скромно признается в своем незнании. Есть время признавать свое незнание, и есть время избавляться от него.

Вторая добродетель — умение отпускать. П. С. Ходжелл сказала: «То, что может быть разрушено истиной, должно быть разрушено».1 Не отпрядывайте перед опытом, который может разрушить ваши убеждения. Мысль, которую вы не можете помыслить, управляет вами сильнее, чем мысли, которые вы высказываете вслух. Подвергайте себя испытаниям и проверяйте себя огнем. Отпустите эмоцию, которая зиждется на ложном убеждении, и стремитесь во всей полноте прочувствовать ту эмоцию, которая соответствует фактам. Если к вашему лицу приближается железо, и вы верите, что оно горячее, а оно холодное, Путь противится вашему страху. Если к вашему лицу приближается железо, и вы верите, что оно холодное, а оно горячее, Путь противится вашему спокойствию. Сначала оценивайте свои убеждения, а уже затем приходите к эмоциям. Позвольте себе сказать: «Если железо горячее, я желаю верить, что оно горячее; если же оно холодное, я желаю верить, что оно холодное». Берегитесь привязаться к убеждениям, которых вы