Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Прямо сейчас вам обоим грозит по одному году тюрьмы; дача показаний (D) сокращает ваш срок на один год и добавляет два года к сроку вашего сообщника.

Или, возможно, вы и какой-то незнакомец один-единственный раз — не зная истории другого игрока и не имея возможности узнать впоследствии, кем он был, — решаете, сыграть ли C или D ради выигрыша в долларах согласно стандартной таблице.

Да, и ещё: в классическом сценарии предполагается, что вы притворяетесь абсолютным эгоистом, то есть вам дела нет ни до сообщника, ни до игрока в другой комнате.

Именно это последнее условие, на мой взгляд, делает классический сценарий фальшивым.

Невозможно избежать эффекта послезнания, просто приказав присяжным притвориться, будто они не знают реального исхода событий. Точно так же и неврологически здоровый человек без сложных усилий, подкреплённых изрядным багажом знаний, не может притвориться искренне, по-настоящему эгоистичным.

Мы рождаемся с чувством справедливости, чести, эмпатии, сочувствия и даже альтруизма — это результат того, что наши предки приспосабливались играть в повторяющуюся дилемму заключённого. Мы не предпочитаем исход (D,C) исходу (C,C) искренне, по-настоящему, абсолютно и полностью, хотя мы можем вполне предпочитать (C,C) варианту (D,D), а (D,D) — варианту (C,D). Мысль о том, что наш сообщник проведёт три года в тюрьме, не оставляет нас совершенно равнодушными.

В той запертой комнате, где мы играем в простую игру под наблюдением экономических психологов, мы не бываем абсолютно и полностью лишены сочувствия к незнакомцу, который может пойти на сотрудничество. Нас не до конца радует мысль о том, что мы можем предать, а незнакомец — посотрудничать, в результате чего мы получим пять долларов, а он — ничего.

Мы инстинктивно зацикливаемся на исходе (C,C) и ищем способы обосновать, почему это решение должно быть обоюдным: «Как нам обеспечить взаимное сотрудничество?» — вот наша инстинктивная мысль. А вовсе не «Как мне обманом заставить другого игрока выбрать C, пока я выберу D ради максимального куша?»

Для человека с внутренним стремлением к альтруизму, чести или справедливости, дилемма заключённого на самом деле не имеет той критической матрицы выигрышей — каков бы ни был индивидуальный финансовый выигрыш. Исход (C,C) для него предпочтительнее исхода (D,C), и ключевой вопрос заключается в том, видит ли другой игрок ситуацию так же.

И нет, вы не можете приказать людям, которых только знакомят с теорией игр, притвориться абсолютно эгоистичными — точно так же, как вы не можете приказать людям, которых знакомят с понятием антропоморфизма, притвориться максимизаторами ожидаемого количества скрепок.

Чтобы сконструировать настоящую дилемму заключённого, ситуация должна выглядеть примерно так:

Игрок 1: Человечество, Дружественный ИИ или иной гуманный разум.

Игрок 2: Недружественный ИИ или инопланетянин, которого заботит только сортировка камешков.

Предположим, что четыре миллиарда человек — не всё человечество, но значительная его часть — прямо сейчас страдают от смертельной болезни, вылечить которую может только вещество S.

Однако вещество S можно получить, лишь сотрудничая с максимизатором скрепок из другого измерения; кроме того, вещество S также можно использовать для производства скрепок. Максимизатора скрепок волнует только количество скрепок в его собственной вселенной, но не в нашей, поэтому мы не можем ни предложить ему производить скрепки здесь, ни угрожать их уничтожением. Мы никогда раньше не взаимодействовали с этим максимизатором скрепок и больше никогда с ним не столкнёмся.

И у человечества, и у максимизатора скрепок будет ровно одна возможность присвоить дополнительную часть вещества S прямо перед тем, как схлопнется межпространственный узел; однако сам процесс захвата уничтожает часть вещества S.

Матрица выигрышей выглядит следующим образом:

1 : C

1 : D

2 : C

(спасено 2 миллиарда человеческих жизней, получено 2 скрепки)

(+3 миллиарда спасённых жизней, +0 скрепок)

2 : D

(+0 жизней, +3 скрепки)

(+1 миллиард жизней, +1 скрепка)

Я выбрал такую матрицу выигрышей, чтобы вызвать чувство возмущения при мысли о том, что максимизатор скрепок хочет выменять миллиарды человеческих жизней на пару скрепок. Очевидно, что максимизатор скрепок должен просто отдать нам всё вещество S. Но максимизатор скрепок не делает того, что он должен делать; он просто максимизирует скрепки.

В этом случае мы действительно предпочитаем исход (D,C) исходу (C,C), если оставить в стороне приведшие к ним действия. Мы бы в огромной степени предпочли жить во вселенной, где 3 миллиарда человек излечились от болезни и не было создано ни одной скрепки, чем жертвовать миллиардом человеческих жизней ради производства двух скрепок. Сотрудничество в подобном случае совсем не кажется правильным. Это даже не кажется справедливым — столь огромная жертва с нашей стороны ради столь ничтожной выгоды максимизатора скрепок? И давайте оговорим, что агент-скрепочник не испытывает ни боли, ни удовольствия — он просто совершает действия, направляющие развитие вселенной так, чтобы в ней содержалось как можно больше скрепок. Он не испытает радости от получения скрепок, не огорчится от их потери и не ощутит болезненной горечи предательства, если мы его предадим.

Что делать в таком случае? Будете ли вы сотрудничать, когда действительно, определённо, искренне и абсолютно хотите получить максимально возможную выгоду, а то, что произойдёт со вторым игроком, по сравнению с этим вас ни капельки не заботит? Когда кажется правильным предать, даже если другой игрок сотрудничает?

Именно так выглядит матрица выигрышей для истинной дилеммы заключённого — ситуации, где (D,C) кажется более правильным, чем (C,C).

Однако вся остальная логика — всё то, что происходит, если оба агента думают подобным образом и оба предают, — остаётся прежней. Ведь максимизатора скрепок так же мало заботят человеческие смерти, человеческая боль или человеческое чувство предательства, как нас заботят скрепки. И всё же мы оба предпочитаем (C,C) исходу (D,D).

Так что, если вы когда-либо гордились тем, что сотрудничаете в дилемме заключённого... или сомневались в вердикте классической теории игр, утверждающей, что «рациональный» выбор — это предательство... тогда что вы скажете об описанной выше истинной дилемме заключённого?

P.S. На самом деле я не считаю, что рациональные агенты всегда должны предавать в одноходовых дилеммах заключённого, если другой игрок пойдёт на сотрудничество в ожидании того же от вас. Я думаю, что существуют ситуации, когда два агента могут рационально прийти к (C,C) вместо (D,D) и получить соответствующую выгоду.1

Часть своих рассуждений я изложу, когда мы перейдём к парадоксу Ньюкома. Но мы не сможем говорить о том, возможно ли рациональное сотрудничество в этой дилемме, пока не избавимся от инстинктивного ощущения, что исход (C,C) сам по себе приятен или хорош.