Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

для математического закона, который в настоящее время считается фундаментальным. (Утверждение, что математическому закону не хватает «лежащего в основе механизма» — один из пунктов в Индексе фричества Джона Баэза.20) «Лежащий в основе механизм», который предлагает взамен этот лжеучёный, — туманный, чисто вербальный и не даёт никакого прироста предсказательной силы, иначе мы бы не причисляли его к лжеучёным.

Наша нынешняя физика считает электромагнитное поле фундаментальным и отказывается объяснять его дальше. Но «электромагнитное поле» — это фундаментальное понятие, подчиняющееся чётким математическим правилам, не имеющее никаких свойств за их пределами и поддающееся формальным вычислениям, описывающим его причинно-следственное воздействие на мир. Возможно, когда-нибудь кто-то предложит более совершенный математический аппарат, дающий лучшие предсказания, но я бы не стал обвинять нынешнюю модель в «таинственности». Теория, которая содержит фундаментальные элементы, — это совсем не то же самое, что теория, содержащая таинственные элементы.

Фундаментальные понятия должны быть простыми. «Жизнь» — плохое фундаментальное понятие, «кислород» — хорошее фундаментальное понятие, а «электромагнитное поле» — ещё лучше. Виталисту жизнь может казаться простой — это ведь всего лишь простая, магическая способность ваших мышц двигаться под управлением разума. Почему бы не объяснить жизнь простой, магической фундаментальной субстанцией вроде élan vital? Но явления, которые кажутся психологически очень простыми — крошечные светящиеся точки в небе, ярко-оранжевое горячее пламя, плоть, движущаяся по велению мысли, — часто скрывают под собой огромную глубину. Утверждение, что жизнь — это сложное явление, может показаться невероятным виталисту, созерцающему глухую, непроницаемую тайну, за которую непонятно как ухватиться. Но да, Вирджиния, скрытая сложность действительно существует. Критерий простоты, имеющий отношение к бритве Оккама, — это математическая или вычислительная простота. Как только мы сводим нашу модель к математически простым фундаментальным элементам, которые сами по себе не разделяют таинственных свойств разгадываемой загадки и взаимодействуют строго определённым образом, порождая ранее загадочное явление в виде детального предсказания, это становится настолько свободным от мистики, насколько человечество вообще научилось что-либо объяснять.

Многие люди в этом мире верят, что после смерти предстанут перед суровым мужчиной по имени святой Пётр, который изучит их земные поступки и начислит им баллы за нравственность. Надо полагать, правило начисления очков у святого Петра уникально и инвариантно к тривиальным изменениям перспективы. К сожалению, верующие не могут получить количественную, точно вычисляемую спецификацию этого правила, что кажется довольно несправедливым.

Религия байесианства утверждает, что ваша вечная участь зависит от вероятностных суждений, которые вы выносили при жизни. В отличие от менее развитых верований, байесианство может дать количественную, точно вычисляемую спецификацию того, как именно определяется ваша вечная судьба.

Наше собственное байесовское правило начисления очков позволяет суммировать баллы по разным экспериментам, и этот результат инвариантен независимо от того, как мы разделяем «эксперименты» или в каком порядке суммируем результаты. Мы складываем логарифмы вероятностей. Это эквивалентно перемножению вероятностей, приписанных исходу каждого эксперимента, для нахождения их совместной вероятности. Мы берём логарифм, чтобы упростить наше интуитивное понимание накопленного балла, чтобы не терять из виду ничтожно малые доли и чтобы гарантировать максимизацию нашего ожидаемого балла, заявляя свои истинные вероятности, а не ставя все фишки на самый вероятный исход.

Байесианство утверждает, что когда вы умираете, Пьер-Симон Лаплас изучает абсолютно каждое событие в вашей жизни — от нахождения туфель у кровати поутру до обнаружения своего рабочего места на привычном месте. Каждый проигрышный лотерейный билет означает, что вам было не всё равно и вы решили сыграть. Лаплас оценивает априорную вероятность, которую вы приписали каждому событию. В тех случаях, когда вы не устанавливали точную численную вероятность заранее, Лаплас изучает вашу степень предвкушения или удивления, экстраполирует другие возможные исходы и ваши гипотетические реакции, а затем нормирует ваши экстраполированные эмоции до распределения правдоподобия по возможным исходам. (Отсюда и пошло выражение «лапласовский сверхразум».)

Затем Лаплас берёт каждое событие в вашей жизни и каждую приписанную вами вероятность и перемножает их все. Это ваш Страшный суд — вероятность, которую вы приписали собственной жизни.

Те, кто следует байесианству, всю жизнь стремятся максимизировать свой Страшный суд. Это единственная добродетель байесианства. Всё остальное — просто математика.

Помните: путь байесианства суров. Какую вероятность вы должны приписывать каждое утро утверждению «Солнце взойдёт»? (Мы опустим такие придирки, как пасмурные дни или тот факт, что Земля вращается вокруг Солнца.) Возможно, тот, кто не следует байесианству, проявил бы скромность и дал вероятность в 99,9%. Но мы, приверженцы байесианства, отбросим все соображения о скромности или высокомерии и будем строить планы лишь ради того, чтобы максимизировать результат Страшного суда. Как одержимые геймеры, мы печёмся только об этом числовом показателе. С вопросом «взойдёт ли Солнце» мы сталкиваемся 365 раз в году, поэтому мы могли бы значительно улучшить свой Страшный суд, слегка подкорректировав наши оценки вероятности.

В нынешнем виде, даже если Солнце встаёт каждое утро, каждый год результат нашего Страшного суда будет уменьшаться в 0,999365 = 0,7 раза, то есть примерно на -0,52 бита. Каждые два года оценка нашего Страшного суда будет снижаться сильнее, чем если бы мы оказались в полном неведении относительно результата подбрасывания монетки! Недопустимо. Если мы увеличим ежедневную вероятность восхода Солнца до 99,99%, то каждый год наш Страшный суд будет уменьшаться лишь в 0,964 раза. Уже лучше. И всё же, в маловероятном случае, если мы проживём ровно 70 лет и умрём, наш Страшный суд составит всего 7,75% от того, каким он мог бы быть. Что, если мы припишем восходу Солнца вероятность 99,999%? Тогда через 70 лет результат нашего Страшного суда будет умножен на 77,4%.

Почему бы не присвоить вероятность 1,0?

Тот, кто следует байесианству, никогда не присвоит вероятность 1,0 ничему. Присвоение вероятности 1,0 какому-то исходу расходует всю вашу вероятностную массу. Если вы присвоите вероятность 1,0 какому-то исходу, а реальность принесёт другой ответ, значит, фактическому исходу вы должны были присвоить вероятность ноль. Это единственный смертный грех байесианства. Ноль, умноженный на что угодно, равен нулю. Когда Лаплас перемножит все вероятности вашей жизни, итоговая вероятность будет равна нулю. Результат вашего Страшного суда окажется дыркой от бублика, шишом, зеро, абсолютным ничем. Независимо от того, насколько рациональными были ваши догадки в течение всей остальной жизни, вы проведёте вечность бок о бок с парнем, который верил в летающие тарелки и черпал всю информацию из Weekly World News. И снова мы убеждаемся в полезности логарифмирования, которое являет невинно звучащий «ноль» в его истинном обличье. Рисковать нулевой вероятностью исхода — всё равно что соглашаться на пари с выплатой в минус