Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

скрежет при торможении, а вы не готовы смириться с расходами на замену тормозов, вы можете решить поискать причины, по которым её, возможно, не нужно чинить. Но реальный процент версий вас, выживающих в эвереттовских ветвях или мирах Тегмарка — что мы и будем считать мерой вашей эффективности как рационалиста, — определяется алгоритмом, который решил, для какого именно вывода вы будете искать аргументы. В данном случае реальный алгоритм звучит так: «Никогда не чинить ничего дорогого». Если это хороший алгоритм — отлично; если плохой — ну что ж. Аргументы, которые вы допишете после, выше итоговой строки, всё равно ничего не изменят.

Это должно служить предостережением для вашего собственного мышления, а не абсолютно универсальным контраргументом против выводов, которые вам не нравятся. Ведь заявить: «Мой оппонент — ловкий спорщик» — это и правда ловкий аргумент, если вы платите сами себе за то, чтобы остаться при тех убеждениях, с которых начали. Самый ловкий в мире спорщик может указать на то, что светит солнце, и всё же на улице, скорее всего, действительно день.

*

71. Что доказывает отфильтрованное свидетельство?

Ранее я обсуждал дилемму хитроумного спорщика, нанятого продать вам коробку, в которой может быть или не быть алмаз. Хитроумный спорщик указывает вам на то, что на коробке стоит синий штамп, и это достоверно известный факт, что коробки с алмазами чаще имеют синий штамп, чем пустые. Что происходит в этот момент с байесовской точки зрения? Должны ли вы беспомощно обновлять свои вероятности, как того желает хитроумный спорщик?

Если вы можете заглянуть в коробку сами, вы можете и сами сложить все признаки. Но что, если вы не можете заглянуть? Что, если единственное имеющееся у вас свидетельство — это слова хитроумного спорщика, который по закону обязан делать только правдивые заявления, но не рассказывает вам всего, что знает? Каждое утверждение хитроумного спорщика — это достоверное свидетельство. Как вы можете не обновить свои вероятности? Разве перестало быть правдой то, что в такой-то доле эвереттовских ветвей или дубликатов Тегмарка, где на коробке Б стоит синий штамп, в коробке Б лежит алмаз? Согласно Джейнсу, байесианец всегда должен проводить обусловливание по всем известным свидетельствам под угрозой парадокса. Но тогда хитроумный спорщик может заставить вас поверить во что угодно, если существует достаточное разнообразие признаков, о которых можно сообщать выборочно. Это звучит неправильно.

Рассмотрим более простой случай: несимметричную монету, у которой вероятность выпадения орла может составлять 2/3, а решки — 1/3, или же орла — 1/3, а решки — 2/3, причем оба случая априори равновероятны. Каждый выпавший орёл (О) — это 1 бит свидетельства в пользу монеты со смещением к орлу; каждая решка (Р) — это 1 бит свидетельства в пользу монеты со смещением к решке. Я подбрасываю монету десять раз, а затем говорю вам: «При 4-м, 6-м и 9-м бросках выпали орлы». Какова ваша апостериорная вероятность того, что монета имеет смещение к орлу?

И ответ заключается в том, что она может быть практически любой, в зависимости от того, какая причинно-следственная цепочка стояла за произнесением этих слов — то есть от того, как именно я выбирал, о каких бросках сообщить.

Возможно, я следовал алгоритму, согласно которому сообщал результаты 4-го, 6-го и 9-го бросков независимо от их результатов и результатов всех остальных бросков. Если вы знаете, что я использовал этот алгоритм, апостериорные шансы составляют 8:1 в пользу монеты со смещением к орлу.

Я мог бы сообщать обо всех бросках — и только о тех, — при которых выпали орлы. В этом случае вы знаете, что во всех остальных 7 бросках выпали решки, и апостериорные шансы составляют 1:16 против того, что монета имеет смещение к орлу.

Я мог заранее решить назвать результаты 4-го, 6-го и 9-го бросков только в том случае, если вероятность того, что монета имеет смещение к орлу, превышает 98%. И так далее.

Или рассмотрим парадокс Монти Холла:

На телешоу вам предлагают выбрать одну из трех дверей, ведущих в три комнаты. Вы знаете, что в одной комнате лежат 100 000 долларов, а две другие пусты. Ведущий просит вас выбрать дверь, и вы выбираете дверь № 1. Затем ведущий открывает дверь № 2, за которой оказывается пустая комната. Хотите ли вы переключиться на дверь № 3 или остаться с дверью № 1?

Ответ зависит от алгоритма ведущего. Если ведущий всегда открывает дверь и всегда выбирает дверь, ведущую в пустую комнату, то вам следует переключиться на дверь № 3. Если ведущий всегда открывает дверь № 2 независимо от того, что за ней находится, то вероятность найти деньги за дверями № 1 и № 3 одинакова и составляет 50%. Если же ведущий вообще открывает дверь только в том случае, если вы изначально выбрали дверь с деньгами, то вам определенно следует остаться с дверью № 1.

Вам следует проводить обусловливание не просто по факту пустоты двери № 2, но по этому факту вместе с тем фактом, что ведущий решил открыть именно дверь № 2. Многих сбивает с толку стандартный парадокс Монти Холла, потому что они обновляют вероятности только по факту пустоты двери № 2, и в этом случае шансы найти деньги за дверями № 1 и № 3 равны. Вот почему байесианцам предписано проводить обусловливание по всей полноте своих знаний под угрозой парадокса.

Когда кто-то говорит: «При четвертом броске монеты выпал орёл», мы проводим обусловливание не по тому факту, что при четвертом броске выпал орёл — мы не берем подмножество всех возможных миров, где при четвертом броске выпал орёл, — а скорее по подмножеству всех возможных миров, где говорящий, следующий определенному алгоритму, сказал: «При четвертом броске монеты выпал орёл». Произнесенное предложение — это не сам факт; не позволяйте всего лишь значению слов вводить вас в заблуждение.

Большинство судебных процессов строятся на теории, согласно которой у каждого дела есть ровно две противоположные стороны, и что проще найти двух предвзятых людей, чем одного непредвзятого. Между обвинением и защитой у одной из сторон обязательно найдется мотив представить любую конкретную улику, так что суд увидит все доказательства; такова теория. Если в дилемме с коробкой участвуют два хитроумных спорщика, это не так хорошо, как один любознательный исследователь, но почти столь же хорошо. Но это в случае с двумя коробками. В реальности же