Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

на улице женщину-математика, и она случайно упоминает, что родила двоих детей в разное время. Вы спрашиваете: «Хотя бы один из ваших детей — мальчик?» Математик отвечает: «Да, мальчик».

Какова вероятность того, что у неё два мальчика? Если предположить, что априорная вероятность рождения мальчика равна 1/2, то вероятность того, что у неё два мальчика, исходя из имеющейся информации, составляет 1/3. Априорные вероятности были следующими: 1/4 — два мальчика, 1/2 — один мальчик и одна девочка, 1/4 — две девочки. Ответ «да» от математика имеет вероятность ~1 в первых двух случаях и вероятность ~0 в третьем. Перенормировка оставляет нам вероятность 1/3 для двух мальчиков и 2/3 для одного мальчика и одной девочки.

Но предположим, что вместо этого вы спросили: «Ваш старший ребёнок — мальчик?» — и математик ответила: «Да». Тогда вероятность того, что у неё два мальчика, была бы равна 1/2. Поскольку старший ребёнок — мальчик, а младший может быть кем угодно.

Точно так же, если бы вы спросили: «Ваш младший ребёнок — мальчик?» Вероятность того, что оба ребёнка — мальчики, снова составила бы 1/2.

Но ведь если хотя бы один ребёнок — мальчик, то мальчиком должен быть либо старший, либо младший ребёнок. Как же тогда ответ в первом случае может отличаться от ответов в двух других?

Или вот очень похожая задача: допустим, у меня есть четыре карты — туз червей, туз пик, двойка червей и двойка пик. Я случайным образом вытягиваю две карты. Вы спрашиваете меня: «У вас на руках есть хотя бы один туз?» — и я отвечаю: «Да». Какова вероятность того, что у меня на руках пара тузов? Она равна 1/5. Существует шесть возможных комбинаций из двух карт с равной априорной вероятностью, и вы только что исключили вероятность того, что у меня пара двоек. Из пяти оставшихся комбинаций только одна представляет собой пару тузов. Итак, 1/5.

Теперь предположим, что вместо этого вы спросили: «У вас на руках есть туз пик?» Если я отвечу «Да», вероятность того, что вторая карта — это туз червей, составит 1/3. (Вы знаете, что у меня на руках туз пик, и для второй карты остаются три возможности, только одна из которых — туз червей.) Точно так же, если вы спросите меня: «У вас на руках есть туз червей?» — и я отвечу «Да», вероятность того, что у меня пара тузов, составит 1/3.

Но как же тогда получается, что если вы спрашиваете: «У вас есть хотя бы один туз?», и я отвечаю «Да», вероятность того, что у меня пара, равна 1/5? Ведь у меня на руках должен быть либо туз пик, либо туз червей, как вы понимаете; и в любом из этих случаев вероятность того, что у меня пара тузов, составляет 1/3.

Как такое может быть? Неужели я ошибся в расчётах одной или нескольких из этих вероятностей?

Если хотите разобраться в этом самостоятельно, сделайте это прямо сейчас, потому что я собираюсь раскрыть...

Что все приведённые вычисления верны.

Что касается парадокса — его нет. Иллюзия парадокса возникает из мысли, будто вероятности должны быть свойствами самих карт. Туз, который я держу, должен быть либо червовым, либо пиковым; но это не означает, что ваше знание о моих картах должно быть таким же, как если бы вы знали, что у меня червовый туз, или знали, что у меня пиковый.

Возможно, здесь поможет теорема Байеса:

Последний член, где вы делите на P(E), — это та часть, в которой вы отбрасываете все исключённые возможности и перенормируете вероятности по тем, что остались.

Теперь допустим, вы спрашиваете меня: «У вас есть хотя бы один туз?» До того как я отвечу, вероятность того, что я скажу «Да», должна быть для вас равна 5/6.

Но если вы спросите меня: «У вас на руках есть туз пик?», ваша априорная вероятность того, что я скажу «Да», составит всего 1/2.

Таким образом, вы сразу видите, что в этих двух случаях вы узнаёте совершенно разные вещи. Вы будете исключать разные возможности и проводить перенормировку с разным P(E). Если вы получаете два разных свидетельства, не стоит удивляться тому, что в итоге вы оказываетесь в двух разных состояниях неполной информации.

Точно так же, если я спрошу математика: «Хотя бы один из двух ваших детей — мальчик?», я ожидаю услышать «Да» с вероятностью 3/4, но если я спрошу: «Ваш старший ребёнок — мальчик?», то ожидаю услышать «Да» с вероятностью 1/2. Так что нет ничего удивительного в том, что я оказываюсь в разном состоянии неполного знания в зависимости от того, какой из двух вопросов я задаю.

Единственная причина видеть здесь «парадокс» — это рассуждать так, будто вероятность иметь на руках пару тузов является свойством наборов карт, среди которых есть хотя бы один туз, или свойством наборов карт, среди которых случайно оказался туз пик. В таком случае действительно было бы парадоксально, если бы наборы карт, содержащие хотя бы одного туза, имели внутреннюю вероятность пары, равную 1/5, тогда как наборы карт с тузом пик имели бы внутреннюю вероятность пары 1/3, а наборы карт с тузом червей — 1/3.

Точно так же, если вы считаете, что вероятность 1/3 того, что оба ребёнка — мальчики, является внутренним свойством наборов детей, включающих хотя бы одного мальчика, то это не согласуется с тем, что наборы детей, в которых старший — мальчик, имеют внутреннюю вероятность 1/2 состоять из двух мальчиков, а наборы детей, в которых младший — мальчик, имеют внутреннюю вероятность 1/2 состоять из двух мальчиков. Это было бы равносильно утверждению: «Все зелёные яблоки весят фунт, все красные яблоки весят фунт, а все яблоки, которые являются зелёными или красными, весят полфунта».

Вот что происходит, когда вы начинаете думать, будто вероятности содержатся в вещах, а не являются состояниями неполной информации о вещах.

Вероятности выражают неопределённость, а испытывать неопределённость могут только агенты. Пустая карта не соответствует пустой территории. Незнание — в уме.

*

194. Цитата — это не референт.

В классической логике операциональное определение тождества гласит, что всякий раз, когда A = B является теоремой, вы можете подставить A вместо B в любой теореме, где встречается B. Например, если (2 + 2) = 4 — теорема, и ((2 + 2) +