Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— нашими шансами увидеть каждый конкретный исход, если гипотеза верна. Распределение правдоподобия для гипотезы H — это функция, состоящая из всех условных вероятностей для P(0|H) = 0,001, P(1|H) = 0,001, . . . , P(51|H) = 0,9, . . . , P(99|H) = 0,001.

Точная теория предсказывает 90-процентную вероятность выпадения 51. Пусть также существует расплывчатая теория, предсказывающая «90-процентную вероятность увидеть число от 50 до 59».

Увидев результат 51, мы не станем утверждать, что этот исход подтверждает обе теории в равной степени. Обе теории сделали предсказания, обе присвоили вероятность в 90%, и результат 51 подтверждает оба предсказания. Однако у точной теории есть преимущество, поскольку она концентрирует свою вероятностную массу в более острой точке. Если расплывчатая теория не содержит дальнейших уточнений, мы трактуем «90-процентную вероятность увидеть число от 50 до 59» как 9-процентную вероятность увидеть каждое конкретное число от 50 до 59.

Предположим, мы начали с равных шансов в пользу точной и расплывчатой теорий — шансов 1:1, то есть 50-процентной вероятности истинности каждой из гипотез. Каковы будут апостериорные шансы в пользу истинности точной теории после того, как мы увидим результат 51? Предсказания двух теорий аналогичны их значениям правдоподобия — условной вероятности увидеть результат при условии, что теория верна. Каково же отношение правдоподобия этих двух теорий? Первая теория распределила 90% вероятностной массы на точный исход. Расплывчатая теория выделила на точный исход лишь 9% вероятностной массы. Отношение правдоподобия составляет 10:1. Таким образом, если мы начинали с равных шансов 1:1, апостериорные шансы составят 10:1 в пользу точной теории. Разница в давлении двух условных вероятностей сдвинула нашу априорную уверенность с 50% до апостериорной уверенности примерно в 91% в том, что точная теория верна. При условии, что тестируются только эти две гипотезы, что рассматриваются только эти свидетельства и так далее.

Почему же расплывчатая теория проиграла, если свидетельству соответствовали обе? Расплывчатая теория робка; она делает широкое предсказание, подстраховывается и допускает множество вариантов, которые опровергли бы точную теорию. В этом нет никакого достоинства для научной теории. Философы науки говорят нам, что теории должны быть смелыми и добровольно подставляться под фальсификацию в случае неудачи их предсказания.6 Теперь мы видим почему. Точная теория концентрирует свою вероятностную массу в более острой точке и тем самым подставляется под удар опровержения, если реальный исход окажется иным; но если предсказанный исход оказывается верным, точность дает колоссальное преимущество в правдоподобии перед расплывчатостью.

Законы теории вероятностей не оставляют лазеек для жульничества — невозможно сформулировать расплывчатую гипотезу так, чтобы любой результат между 50 и 59 давал такое же весомое подтверждение, какое получает точная теория, ведь для этого потребовалось бы, чтобы сумма вероятностной массы составила 900%. Сжульничать невозможно — при условии, что вы фиксируете свое предсказание заранее, чтобы потом нельзя было заявить, будто ваша теория присваивала 90-процентную вероятность именно тому результату, который в итоге и получился. Люди очень любят делать предсказания задним числом, поэтому социальный процесс науки требует предварительного предсказания, прежде чем мы сможем сказать, что результат подтверждает теорию. Но то, как именно люди могут действовать в гармонии с путем Байеса и тем самым обретать силу — это отдельный вопрос, не связанный с тем, работает ли математика. Когда мы занимаемся математикой, мы просто принимаем как должное, что функции плотности правдоподобия являются фиксированными свойствами гипотезы, сумма вероятностной массы равна 1, и нам даже в голову не придет поступать как-то иначе.

Возможно, вы захотите уделить минуту, чтобы представить себе, что если мы определяем вероятность через калибровку, то теорема Байеса связывает между собой именно калибровки. Предположим, я считаю, что вероятность истинности Теории 1 составляет 50%, и вероятность истинности Теории 2 — тоже 50%. Предположим, что я хорошо откалиброван: когда я произношу слова «пятьдесят процентов», событие действительно происходит примерно в половине случаев. И вот я наблюдаю результат R, который в рамках Теории 1 должен происходить примерно в девяти случаях из десяти, а в рамках Теории 2 — примерно в девяти случаях из ста; я знаю это и применяю байесовское рассуждение. Если изначально я был идеально откалиброван (несмотря на слабую различительную способность заявления «50 на 50»), то я останусь идеально откалиброванным (и получу лучшую различительную способность) после того, как заявлю, что моя уверенность в Теории 1 теперь составляет 91%. Если бы я повторял подобные ситуации многократно, я оказывался бы прав примерно в десяти случаях из одиннадцати, когда говорил «91%». Если я рассуждаю по байесовским правилам и начинаю с хорошо откалиброванных априорных вероятностей, то и мои выводы будут хорошо откалиброваны. Это справедливо только в том случае, если мы определяем вероятность через калибровку! Если же интерпретировать «уверенность на 90%» как, скажем, силу эмоции убежденности, нет никаких оснований ожидать, что апостериорная эмоция будет находиться в точном байесовском соотношении с априорной эмоцией.

Пусть априорные шансы составляют десять к одному в пользу расплывчатой теории. Почему? Предположим, наш способ описания гипотез позволяет нам либо указывать точное число, либо просто указывать первую цифру; мы можем сказать «51», «63», «72» или «из пятидесятых/шестидесятых/семидесятых». Предположим, мы считаем, что истинный ответ с равной вероятностью может относиться как к первому типу, так и ко второму. Однако, исходя из условий задачи, существует сто возможных гипотез первого типа и только десять гипотез второго типа. Таким образом, если мы считаем, что у любого класса гипотез примерно равные априорные шансы оказаться верным, нам придется распределить априорную вероятность по точным теориям, которых в десять раз больше, чем расплывчатых. Следовательно, точная теория, предсказывающая именно 51, будет иметь априорную вероятность в десять раз меньшую, чем расплывчатая теория, предсказывающая число из пятидесятых. После того как мы увидим 51, шансы изменятся с 1:10 в пользу расплывчатой теории до 1:1, то есть станут равными для точной и расплывчатой теорий.

Если присмотреться внимательнее, это в точности соответствует тому, чего ожидает здравый смысл. Вначале вы не уверены, относится ли явление к такому типу, который каждый раз дает один и тот же точный результат, или к такому, который каждый раз дает результат в каком-то диапазоне «десятков». (Возможно, это явление — диапазон цен в супермаркете, если вам нужно какое-то обоснование того, почему диапазон 50–59 допустим, а 49–58 — нет.) Вы делаете одно измерение, и результат равен 51. Что ж, это может быть потому, что значение явления составляет ровно 51, или потому, что оно лежит в пределах пятидесяти. Таким образом, оставшаяся точная теория имеет те же шансы, что и