Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

применить правило конъюнкции P(X,Y) ≤ P(X) напрямую к конфликту между взаимоисключающими гипотезами. Правило конъюнкции применяется напрямую только к тем случаям, когда левая часть строго влечет за собой правую часть. Кроме того, конъюнкция — это всего лишь неравенство; она не дает нам тех количественных расчетов, которые нам нужны.

Но правило конъюнкции дает нам правило монотонного убывания вероятности: по мере того как вы добавляете к истории всё больше деталей, каждая из которых потенциально может быть истинной или ложной, вероятность истории монотонно снижается. Представьте вероятность как сохраняющуюся величину: её запас ограничен. По мере роста числа деталей в истории количество возможных историй растет экспоненциально, но сумма их вероятностей никогда не может превысить 1. Для каждой истории «X и Y» существует история «X и ¬Y». Когда вы просто рассказываете историю «X», вы можете просуммировать по возможностям Y и ¬Y.

Если вы добавите к X десять деталей, каждая из которых потенциально может быть истинной или ложной, то вашей истории придется конкурировать за драгоценную вероятность с 210 - 1 другими столь же детализированными историями. Если же, с другой стороны, достаточно просто сказать X, вы можете просуммировать свою вероятность по 210 историям:

((X и Y и Z и . . .) или (X и ¬Y и Z и . . .) или . . .).

«Сущности», подсчитываемые бритвой Оккама, должны по отдельности дорого обходиться с точки зрения вероятности; именно поэтому мы предпочитаем теории, содержащие меньше таких сущностей.

Представьте лотерею, в которой продается до миллиона билетов, где каждый из возможных билетов продается только один раз, и к моменту розыгрыша проданы абсолютно все билеты. Ваш друг купил один билет за 1 доллар — что кажется вам плохим вложением, ведь выигрыш составляет всего 500 000 долларов. Но друг говорит: «Да, но рассмотри альтернативные гипотезы: „Завтра кто-то выиграет в лотерею“ и „Завтра я выиграю в лотерею“. Очевидно, что вторая гипотеза проще по бритве Оккама; в ней упоминаются лишь один человек и один билет, тогда как первая гипотеза сложнее: она упоминает миллион человек и миллион билетов!»

Говорить, что бритва Оккама считает только законы, а не объекты, не совсем верно: против теории говорят те сущности, которые она вынуждена упоминать явно, поскольку это те самые сущности, которые нельзя просуммировать. Предположим, вы с другом ломаете голову над удивительным бильярдным ударом: вам известно начальное состояние стола и то, какие шары забиты, но не то, как именно был сделан удар. Вы предлагаете теорию, включающую десять конкретных столкновений между десятью конкретными шарами; ваш друг возражает теорией, включающей пять конкретных столкновений между пятью конкретными шарами. Против ваших теорий говорят не только законы, которые, как вы утверждаете, управляют бильярдными шарами, но и любые конкретные шары, которые должны были находиться в каком-то определенном состоянии, чтобы предсказание вашей модели оказалось верным.

Если вы измерили температуру в гостиной и она составила 22° Цельсия, бессмысленно заявлять: «Твой термометр, скорее всего, ошибается; гораздо более вероятно, что в комнате 20° C. Ведь если рассмотреть все частицы в комнате, то при температуре 22° C количество состояний, которые они могут занимать, экспоненциально больше — а значит, любое конкретное состояние становится еще менее вероятным». Но в каком бы именно из состояний при 22° C ни находилась ваша комната, вы всё равно можете сделать то же самое предсказание (для подавляющего большинства таких состояний), что термометр в итоге покажет 22° C, а значит, вы не чувствительны к точным начальным условиям. Вам не нужно указывать точное положение всех молекул воздуха в комнате, так что это не играет против вероятности вашего объяснения.

С другой стороны — возвращаясь к примеру с лотереей, — предположим, ваш друг выиграл десять лотерей подряд. В этот момент вам стоит заподозрить, что всё подстроено. Гипотеза «Мой друг выигрывает в лотерею каждый раз» сложнее гипотезы «Кто-то выигрывает в лотерею каждый раз». Однако первая гипотеза предсказывает данные гораздо точнее.

В формализме минимальной длины описания фраза «Есть один человек, который каждый раз выигрывает в лотерею» в самом начале вашего сообщения сжимает описание того, кто выиграл следующие десять лотерей; чтобы закончить сообщение, вам достаточно просто сказать: «И этот человек — Фред Смит». Сравните это с: «Первую лотерею выиграл Фред Смит, вторую лотерею выиграл Фред Смит, третью лотерею...»

В формализме соломоновской индукции априорная вероятность гипотезы «Мой друг выигрывает в лотерею каждый раз» мала, поскольку программе, описывающей лотерею, теперь требуется явный код, выделяющий вашего друга; однако, поскольку эта программа способна выдать более узкое распределение вероятностей для потенциальных победителей лотереи, чем гипотеза «Кто-то выигрывает в лотерею каждый раз», она может — по правилу Байеса — преодолеть свою априорную маловероятность и победить в качестве гипотезы.

Любая формальная теория Бритвы Оккама должна количественно определять не только «сущности» и «простоту», но и саму «необходимость».

Минимальная длина описания определяет необходимость как «то, что сжимает сообщение».

Соломоновская индукция присваивает априорную вероятность каждой возможной компьютерной программе, при этом сумма всего распределения по всем возможным компьютерным программам не превышает 1. Этого можно достичь, используя двоичный код, в котором ни одна корректная компьютерная программа не является префиксом другой корректной компьютерной программы («беспрефиксный код») — например, за счёт использования стоп-кода. Тогда априорная вероятность любой программы P равна просто 2-L(P), где L(P) — длина P в битах.

Сама программа P может принимать на вход строку битов (возможно, нулевой длины) и выдавать условную вероятность того, что следующий бит будет равен 1; это делает P распределением вероятностей на множестве всех двоичных последовательностей. Данная версия соломоновской индукции для любой строки даёт нам смесь апостериорных вероятностей, в которой доминируют кратчайшие программы, наиболее точно предсказывающие эту строку. Суммирование по этой смеси даёт нам предсказание для следующего бита.

Суть в том, что для обоснования более сложных гипотез требуется больше байесовских свидетельств — больше успешных предсказаний или более точные предсказания. Но это вполне реально; бремя априорной маловероятности не бесконечно. Если вы подбросите монету четыре раза, и каждый раз будет выпадать орёл, вы не сделаете сразу вывод, что у этой монеты всегда выпадает только орёл. Но если орёл выпадет двадцать раз подряд, вам стоит отнестись к этому крайне серьёзно. А как насчёт гипотезы о том, что монета подстроена так, чтобы выдавать ОРРОРР... в виде повторяющегося цикла? Это звучит куда более странно, но после сотни бросков только глупец станет это отрицать.

Обычная химия утверждает, что в одном грамме