Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

В. Как мне найти априорные вероятности для задачи?

О. Многие часто используемые априорные вероятности приведены в Справочнике по химии и физике.

В. Откуда априорные вероятности берутся изначально?

О. Никогда не задавайте этот вопрос.

В. Ага. Тогда откуда ученые берут свои априорные вероятности?

О. Априорные вероятности для научных задач устанавливаются ежегодным голосованием AAAS. В последние годы голосование стало неспокойным и спорным, сопровождаясь всеобщей враждебностью, фракционной поляризацией и даже несколькими самыми настоящими убийствами. Возможно, это ширма для внутренних раздоров в Совете Байеса, а возможно, у спорящих просто слишком много свободного времени. Никто не знает наверняка.

В. Понятно. А откуда все остальные берут свои априорные вероятности?

О. Они скачивают свои априорные вероятности из Kazaa.

В. А если нужных мне априорных вероятностей нет в Kazaa?

О. В одном из переулков Чайнатауна в Сан-Франциско есть маленькая, заваленная хламом лавка древностей. Не спрашивайте про бронзовую крысу.

На самом деле априорные вероятности бывают истинными или ложными точно так же, как и конечный ответ, — они отражают реальность, и судить о них можно путем сравнения с реальностью. Например, если вы думаете, что рак груди есть у 920 из 10 000 женщин в выборке, а реальное число составляет 100 из 10 000, то ваши априорные вероятности неверны. В нашей конкретной задаче априорные вероятности могли быть установлены на основе трех исследований: исследования историй болезни женщин с раком груди (чтобы выяснить, у скольких из них маммография дала положительный результат), исследования женщин без рака груди (чтобы узнать, у скольких из них тест дает положительный результат) и эпидемиологического исследования распространенности рака груди в конкретной демографической группе.

Вероятность P(A,B) — это то же самое, что P(B,A), но P(A|B) — совсем не то же самое, что P(B|A), а P(A,B) полностью отличается от P(A|B). Путать некоторые из этих величин или вообще все сразу — очень распространенная ошибка.

Чтобы поближе познакомиться со всеми связями между ними, мы сыграем в игру «следи за степенями свободы». Например, две величины — P(рак) и P(¬рак) — имеют на двоих одну степень свободы из-за общего закона P(A) + P(¬A) = 1. Если вы знаете, что P(¬рак) = 0,99, то можете получить P(рак) = 1 - P(¬рак) = 0,01.

Величины P(положительный|рак) и P(¬положительный|рак) также имеют на двоих всего одну степень свободы; у женщины с раком груди маммография либо дает положительный результат, либо нет. С другой стороны, P(положительный|рак) и P(положительный|¬рак) имеют две степени свободы. У вас может быть маммографический тест, который дает положительный результат для 80% больных раком и 9,6% здоровых пациенток, или который дает положительный результат для 70% больных раком и 2% здоровых пациенток, или даже медицинский тест, дающий «положительный» результат для 30% больных раком и 92% здоровых пациенток. Две эти величины — результат маммографии для больных раком и результат маммографии для здоровых пациенток — математически независимы; ни одну из них нельзя никак получить из другой, и поэтому на двоих они имеют две степени свободы.

А как насчет P(положительный, рак), P(положительный|рак) и P(рак)? Здесь перед нами три величины; сколько у них степеней свободы? В данном случае должно выполняться следующее уравнение:

P(положительный, рак) = P(положительный|рак) × P(рак).

Это равенство сокращает число степеней свободы на одну. Если мы знаем долю пациенток с раком и вероятность того, что у больной раком пациентки маммография окажется положительной, то путем умножения мы можем вычислить долю пациенток с раком груди и положительным результатом маммографии.

Точно так же, если мы знаем количество пациенток с раком груди и положительным результатом маммографии, а также количество пациенток с раком груди, мы можем оценить вероятность того, что у женщины с раком груди маммография будет положительной, с помощью деления: P(положительный|рак) = P(положительный, рак) / P(рак). На самом деле именно так подобные медицинские диагностические тесты и калибруются: вы проводите исследование 8520 женщин с раком груди и видите, что среди них 6816 (или около того) имеют рак груди и положительный результат маммографии, а затем делите 6816 на 8520 и узнаете, что у 80% женщин с раком груди маммография была положительной. (Кстати, если вы случайно разделите 8520 на 6816 вместо обратного действия, ваши вычисления начнут вытворять странные вещи — например, утверждать, что у 125% женщин с раком груди и положительной маммографией есть рак груди. По моему опыту, это распространенная ошибка при выполнении байесовских вычислений.) И наконец, если вы знаете P(положительный, рак) и P(положительный|рак), вы можете вычислить, сколько больных раком изначально должно было быть. На три эти величины приходится две степени свободы; если мы знаем любые две, мы можем вычислить третью.

А как насчет P(положительный), P(положительный, рак) и P(положительный, ¬рак)? И снова среди этих трех переменных есть только две степени свободы. Уравнение, занимающее лишнюю степень свободы, выглядит так:

P(положительный) = P(положительный, рак) + P(положительный, ¬рак).

Именно так изначально и вычисляется P(положительный): мы определяем количество женщин с раком груди, у которых маммография дала положительный результат, и количество женщин без рака груди, у которых маммография дала положительный результат, а затем складываем их, чтобы получить общее число женщин с положительным результатом маммографии. Было бы очень странно взять и провести целое исследование, чтобы определить число женщин с положительным результатом маммографии — только это одно число и ничего больше, — но теоретически вы могли бы это сделать. И если бы вы затем провели еще одно исследование и выяснили количество тех женщин, у которых была положительная маммография и рак груди, вы бы также узнали число женщин с положительной маммографией и без рака груди — ведь у женщины с положительной маммографией рак груди либо есть, либо его нет. В общем случае P(A,B) + P(A,¬B) = P(A). Симметрично, P(A,B) + P(¬A,B) = P(B).

А как насчет P(положительный, рак), P(положительный, ¬рак), P(¬положительный, рак) и P(¬положительный, ¬рак)? Сначала у вас может возникнуть соблазн подумать, будто для этих четырех величин есть только две степени свободы — что вы можете, например, получить P(положительный, ¬рак), умножив P(положительный) × P(¬рак), и, следовательно, все четыре величины можно найти, зная только две: P(положительный) и P(рак). Это не так! P(положительный, ¬рак) = P(положительный) × P(¬рак) только в том случае, если эти две вероятности статистически независимы — то есть если вероятность того, что у женщины рак груди, никак не влияет на то, будет ли у нее положительный результат маммографии. Это