Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

10log10(1/99) ≈ -20

10log10(25/3) ≈ 9

10log10(18/1) ≈ 13

10log10(7/2) ≈ 5.

Изначально то, что у женщины рак груди, довольно маловероятно — уровень нашей уверенности находится на отметке -20 децибел. Затем приходят результаты трех тестов, добавляющие 9, 13 и 5 децибел свидетельств. Это повышает уровень уверенности в общей сложности на 27 децибел, а значит, априорная уверенность в -20 децибел превращается в апостериорную уверенность в 7 децибел. В итоге шансы меняются с 1:99 на 5:1, а вероятность возрастает с 1% примерно до 83%.

Вы чините штуковины. Когда штуковина перестает работать, в 30% случаев причиной оказывается засорившийся шланг. Если шланг штуковины засорился, существует 45-процентная вероятность, что если в нее ткнуть, она заискрит. Если шланг не засорился, шанс того, что штуковина заискрит, если в нее ткнуть, составляет всего 5%. Клиент приносит вам неисправную штуковину. Вы тыкаете в нее и обнаруживаете, что она искрит. Какова вероятность того, что у заискрившей штуковины засорен шланг?

Какую последовательность арифметических операций вы выполнили, чтобы решить эту задачу?

(45% × 30%) / (45% × 30% + 5% × 70%)

Аналогично, чтобы найти шанс того, что женщина с положительным результатом маммографии больна раком груди, мы вычислили:

что представляет собой

то есть

P(positive,cancer) / P(positive)

то есть

P(cancer|positive).

Полностью обобщенная форма этого вычисления известна как теорема Байеса или правило Байеса.

Когда существует некоторое явление A, которое мы хотим исследовать, и наблюдение X, являющееся свидетельством в пользу A (например, в предыдущем примере A — это рак груди, а X — положительный результат маммографии), теорема Байеса говорит нам, как мы должны обновлять нашу вероятность A с учетом нового свидетельства X.

На данном этапе теорема Байеса может показаться совершенно очевидной или даже тавтологичной, а вовсе не волнующей и новой. Если так, то это введение полностью достигло своей цели.

Теорема Байеса описывает, что именно делает нечто «свидетельством» и насколько весомо это свидетельство. Статистические модели оценивают путем сравнения с байесовским методом, поскольку в статистике байесовский метод — это предел возможностей. Он определяет максимальную пользу, которую можно извлечь из конкретного свидетельства, точно так же как термодинамика определяет максимальную работу, которую можно получить за счет разности температур. Вот почему от когнитивистов так часто можно услышать о байесовских субъектах. В когнитивистике «байесовский субъект» — это технически точное кодовое выражение, под которым мы подразумеваем рациональный разум.

Рассматривая теорему Байеса, можно также вывести ряд общих эвристик человеческого мышления.

Например, во многих дискуссиях о теореме Байеса можно услышать от когнитивных психологов, что люди недостаточно учитывают априорную частоту. Это означает следующее: когда люди сталкиваются с задачей, где некое свидетельство X указывает на возможную истинность условия A, они склонны судить о вероятности A исключительно по тому, насколько хорошо свидетельство X согласуется с A, не принимая во внимание априорную частоту появления A. Если вы, к примеру, считаете, что в случае с маммографией шанс женщины заболеть раком груди находится в диапазоне 70–80%, то подобный ход мысли нечувствителен к заданной в условии априорной частоте; он игнорирует тот факт, болеет ли изначально раком груди 1% женщин или 10%. «Уделяйте больше внимания априорной частоте!» — это одна из многих вещей, о которых людям нужно помнить, чтобы частично компенсировать наши врожденные недостатки.

Схожая ошибка — уделять слишком много внимания величине P(X|A) и недостаточно внимания P(X|¬A) при определении того, насколько весомым свидетельством в пользу A является X. Степень, в которой результат X служит свидетельством в пользу A, зависит не только от силы утверждения «мы ожидали бы увидеть результат X, если бы A было истинным», но и от силы утверждения «мы не ожидали бы увидеть результат X, если бы A не было истинным». Например, если идет дождь, то отсюда с высокой степенью уверенности следует, что трава мокрая — P(wetgrass|rain) ≈ 1, — однако тот факт, что трава мокрая, еще не обязательно означает, что только что прошел дождь: возможно, включили разбрызгиватель или вы видите утреннюю росу. Поскольку P(wetgrass|¬rain) существенно больше нуля, P(rain|wetgrass) существенно меньше единицы. С другой стороны, если бы трава никогда не бывала мокрой в отсутствие дождя, то знание о том, что трава мокрая, всегда указывало бы на дождь (P(rain|wetgrass) ≈ 1), даже если P(wetgrass|rain) = 50%, то есть даже если трава намокала бы только в половине случаев, когда идет дождь. Свидетельство — это всегда результат разности между двумя условными вероятностями. Сильное свидетельство — это не следствие очень высокой вероятности того, что A приводит к X, а следствие очень низкой вероятности того, что не-A могло привести к X.

Байесовская революция в науке подпитывается не только тем, что всё больше когнитивистов внезапно замечают байесовскую структуру в психических феноменах; не только тем, что ученые во всех областях учатся оценивать свои статистические методы путем сравнения с байесовским методом; но также и мыслью о том, что сама наука — это частный случай теоремы Байеса, а экспериментальное свидетельство — это байесовское свидетельство. Сторонники байесовской революции утверждают: когда вы проводите эксперимент и получаете данные, которые «подтверждают» или «опровергают» вашу теорию, это подтверждение и опровержение подчиняются байесовским правилам. Например, вам нужно учитывать не только то, предсказывает ли ваша теория данное явление, но и то, предсказывают ли его другие возможные объяснения.

Ранее самой популярной философией науки был, пожалуй, фальсификационизм Карла Поппера — старая философия, которую сейчас свергает байесовская революция. Идея Карла Поппера о том, что теории можно окончательно опровергнуть (фальсифицировать), но никогда нельзя окончательно подтвердить, — это еще один частный случай байесовских правил: если P(X|A) ≈ 1 — то есть если теория дает определенное предсказание, — то наблюдение ¬X крайне убедительно опровергает A. С другой стороны, если P(X|A) ≈ 1 и мы наблюдаем X, это не подтверждает теорию окончательно; может существовать какое-то другое условие B, такое что P(X|B) ≈ 1, и в этом случае наблюдение X не дает преимуществ теории A перед B. Чтобы наблюдение X окончательно подтверждало A, нам нужно было бы знать не то, что P(X|A) ≈ 1, а то, что P(X|¬A) ≈ 0. Но этого мы знать не можем, поскольку не способны перебрать