Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Существует обширная литература по теме задач ньюкомовского типа — особенно если рассматривать дилемму заключенного как частный случай, каковым её обычно и считают. «Парадоксы рациональности и сотрудничества: дилемма заключенного и задача Ньюкома»1 — это сборник статей, включающий оригинальное эссе Ньюкома. Для тех, кто читает только материалы в сети, основные стандартные позиции обобщены в докторской диссертации Ледвига.2

Я не собираюсь углубляться во всю эту литературу, но доминирующий консенсус в современной теории принятия решений состоит в том, что нужно выбирать две коробки, а Омега просто поощряет агентов с иррациональным складом ума. Эта господствующая точка зрения известна под названием «каузальная теория принятия решений».

Я не буду пытаться представить здесь собственный анализ. Это слишком длинная история даже по моим меркам.

Однако даже среди сторонников каузальной теории принято считать, что если у вас есть возможность заранее взять на себя обязательство выбрать одну коробку в задаче Ньюкома, то вам следует это сделать. Если вы можете связать себя обязательством до того, как Омега изучит вас, то вы напрямую делаете так, что коробка B оказывается заполненной.

В моей области — которая, если вы забыли, связана с самомодифицирующимся ИИ — это означает следующее: если вы создадите ИИ, который выбирает две коробки в задаче Ньюкома, он сам изменит себя так, чтобы выбирать одну коробку, если заранее предположит, что может столкнуться с подобной ситуацией. Агенты со свободным доступом к собственному исходному коду имеют в своем распоряжении простой способ связывания себя обязательствами.

Что если вы ожидаете, что в целом можете столкнуться с задачей ньюкомовского типа, не зная её точной формы? Тогда вам придется изменить себя, превратившись в агента, чей внутренний склад устроен так, что он обычно получает высокие награды в задачах ньюкомовского типа.

Но как выглядит агент со складом ума, в целом хорошо приспособленным к задачам ньюкомовского типа? Можно ли описать это формально?

Да, но когда я попытался это изложить на бумаге, то понял, что начинаю писать небольшую книгу. И это была не самая важная книга из тех, что мне нужно написать, поэтому я отложил её в долгий ящик. Моя низкая скорость письма — действительно бич моего существования. Разработанная мной теория, как мне кажется, обладает множеством привлекательных свойств, помимо того что отлично подходит для задач ньюкомовского типа. Она легла бы в основу отличной докторской диссертации, если бы я смог найти кого-то, кто принял бы её в качестве моей диссертации. Но только нечто подобное и могло бы заставить меня стряхнуть пыль с этого проекта. Иначе я просто не могу оправдать затраты времени, учитывая то, с какой скоростью я сейчас пишу книги.

Я говорю всё это потому, что широко распространено мнение: «Словесные аргументы в пользу выбора одной коробки найти легко; трудно разработать хорошую теорию принятия решений, предписывающую выбирать одну коробку» — то есть непротиворечивый математический аппарат, который выбирает одну коробку в задаче Ньюкома и при этом не приводит к абсурдным результатам в других случаях. Так что я прекрасно это понимаю и действительно взялся за разработку подобной теории, но моя скорость написания крупных работ настолько низка, что я просто не могу её опубликовать. Хотите верьте, хотите нет, но это правда.

Тем не менее, мне бы хотелось изложить некоторые из моих мотивов касательно задачи Ньюкома — причины, побудившие меня искать новую теорию, — поскольку они иллюстрируют мои глубинные установки в отношении рациональности. Даже если я не могу представить саму теорию, которую эти мотивы порождают...

Во-первых, прежде всего, фундаментально и превыше всего:

Рациональные агенты должны ВЫИГРЫВАТЬ.

Не поймите меня неправильно и не думайте, будто я говорю о голливудском стереотипе рациональности, согласно которому рационалисты должны быть эгоистичными или недальновидными. Если ваша функция полезности включает заботу о других, то выиграйте для них счастье. Если ваша функция полезности включает заботу о том, что произойдет через миллион лет, то выиграйте вечность.

Но в любом случае — ВЫИГРЫВАЙТЕ. Не проигрывайте обоснованно; ВЫИГРЫВАЙТЕ.

Сейчас есть защитники каузальной теории принятия решений, утверждающие, что двухкоробочники делают всё возможное для победы и ничего не могут поделать с тем, что их проклял Предсказатель, благоволящий иррационалистам. Об этой линии защиты я поговорю через минуту. Но сначала я хочу провести грань между сторонниками каузальной теории принятия решений, которые верят, что двухкоробочники действительно делают всё возможное, чтобы победить, и теми, кто считает, что выбор двух коробок — это разумный или рациональный поступок, но при этом сам разумный шаг в данном случае предсказуемо ведёт к проигрышу. Существует множество людей, которые думают, что рациональность предсказуемо проигрывает в различных задачах, — это тоже часть голливудского стереотипа о рациональности, в котором Кирк предсказуемо превосходит Спока.

Теперь перейдём к обвинению в том, что Омега благоволит иррационалистам. Я могу представить себе сверхсущество, которое вознаграждает только людей, рождённых с определённым геном, независимо от их выбора. Я могу представить себе сверхсущество, которое вознаграждает людей, чей мозг реализует конкретный алгоритм вроде «Опиши варианты на английском языке и выбери последний в алфавитном порядке», но не награждает тех, кто выбирает тот же вариант по другой причине. Но Омега вознаграждает людей, которые решают взять только коробку B, независимо от того, какой алгоритм привёл их к этому решению, и именно поэтому я не принимаю обвинений в том, что Омега поощряет иррациональность. Омеге всё равно, следуете ли вы какому-то особому ритуалу познания; Омегу волнует только ваше предсказанное решение.

Мы можем выбрать любой алгоритм рассуждения, какой нам нравится, и будем вознаграждены или наказаны исключительно в соответствии с выбором этого алгоритма, без каких-либо иных зависимостей — Омегу волнует лишь то, куда мы пришли, а не то, как мы туда добирались.

Именно мысль о том, что Природе нет дела до нашего алгоритма, освобождает нас для следования победоносному Пути — без привязанности к какому-либо конкретному ритуалу познания, помимо нашей веры в то, что он приносит победу. Любое правило можно пересмотреть, кроме правила побеждать.

Как сказал Миямото Мусаси — это действительно стоит повторить:

Победить можно длинным оружием, но можно победить и коротким. Одним словом, Путь школы Ити — это дух победы, каким бы ни было оружие и каков бы ни был его размер.3

(Другой пример: Макги утверждал, что мы должны принять ограниченные функции полезности, иначе мы рискуем столкнуться с «голландскими книгами» на бесконечных временных промежутках. Но: функция полезности не подлежит пересмотру.