Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если вы хотите узнать сумму 10 + 10, вы можете представить её как (2 × 5) + (7 + 3) или как (2 × (4 + 6)), либо использовать любые другие `допустимые` приёмы, но результат всегда должен быть одним и тем же, в данном случае — 20. Если одним способом получается 20, а другим — 19, то вы можете сделать вывод, что по крайней мере в одном из случаев вы сделали нечто недопустимое. (В арифметике недопустимая операция — это обычно деление на ноль; в теории вероятностей это обычно бесконечность, которую не рассматривали как предел конечного процесса).

Если вы получили результат 19 = 20, хорошенько поищите ошибку, которую только что совершили, потому что маловероятно, что вы обратили в пепел саму арифметику. Если кому-либо когда-либо удастся вывести `настоящее` противоречие из байесовской теории вероятностей — скажем, две разные доказательные силы для одного и того же экспериментального метода, давшего одинаковые результаты, — тогда всё это здание обратится в прах. Вместе с теорией множеств, потому что я почти уверен, что в ZF можно построить модель теории вероятностей.

Математика! Вот то слово, которое я искал. Байесианцы ожидают, что теория вероятностей будет `математикой.` Именно поэтому мы интересуемся теоремой Кокса и её многочисленными расширениями, показывающими, что любое представление неопределённости, подчиняющееся определённым ограничениям, должно сводиться к теории вероятностей. Непротиворечивая математика — это здорово, но единственно возможная математика — ещё лучше.

И всё же... `должна ли` рациональность быть математикой? Вовсе не предрешено, что теория вероятностей должна быть красивой. Реальный мир запутан — так не нужны ли столь же запутанные рассуждения, чтобы с ним справляться? Возможно, небайесовские статистики с их огромной коллекцией ad hoc методов и ad hoc обоснований строго более компетентны, поскольку у них строго больший набор инструментов. Приятно, когда задачи чистые и аккуратные, но обычно это не так, и с этим приходится мириться.

В конце концов, общеизвестно, что байесовские методы нельзя использовать для решения многих задач, поскольку байесовские вычисления вычислительно нереализуемы.

Так почему бы не позволить расцветать множеству цветов? Почему бы не иметь в своём ящике больше одного инструмента?

Поиск законов — это не то же самое, что поиск особенно изящных и красивых инструментов. Второй закон термодинамики — это не какой-то особенно изящный и красивый холодильник.

Цикл Карно — это идеальный двигатель, собственно говоря, тот самый идеальный двигатель. Ни один двигатель, работающий от двух тепловых резервуаров, не может быть более эффективным, чем двигатель Карно. Как следствие, все термодинамически обратимые двигатели, работающие между одними и теми же тепловыми резервуарами, одинаково эффективны.

Но, разумеется, вы не можете использовать двигатель Карно, чтобы привести в движение настоящий автомобиль. Двигатель настоящего автомобиля похож на двигатель Карно примерно так же, как автомобильные шины — на идеальные катящиеся цилиндры.

Отсюда очевидно, что двигатель Карно — бесполезный инструмент для создания реального автомобиля. Второй закон термодинамики здесь, разумеется, неприменим. В реальном мире слишком сложно создать двигатель, который бы ему подчинялся. Просто забудьте о термодинамике — используйте то, что работает.

Именно такая путаница, на мой взгляд, царит в умах тех, кто всё ещё цепляется за старые догмы.

Нет, вы не всегда можете выполнить точный байесовский расчёт для конкретной задачи. Иногда приходится искать приближение — и даже очень часто. Но это не значит, что теория вероятностей перестала работать — точно так же, как ваша неспособность рассчитать аэродинамику «Боинга-747» на уровне отдельных атомов не означает, что самолёт состоит не из атомов. Какое бы приближение вы ни использовали, оно работает ровно в той степени, в какой приближается к идеальному байесовскому расчёту, и даёт сбой ровно в той степени, в какой от него отклоняется.

Доказательства согласованности и уникальности байесианства — палка о двух концах. Точно так же, как любой расчёт, подчиняющийся аксиомам согласованности Кокса (или любой из их многочисленных переформулировок и обобщений), должен проецироваться на вероятности, так и любой небайесовский метод неизбежно провалит один из тестов на согласованность. А это, в свою очередь, делает вас уязвимыми для таких наказаний, как «голландская книга» (принятие комбинаций ставок, ведущих к гарантированному проигрышу, или отклонение комбинаций ставок, ведущих к гарантированному выигрышу).

Возможно, вы не сможете вычислить оптимальный ответ. Но какое бы приближение вы ни использовали, и его успехи, и его неудачи будут объяснимы с точки зрения байесовской теории вероятностей. Вы можете не знать этого объяснения, но это не значит, что его не существует.

Итак, вы хотите использовать линейную регрессию вместо байесовского обновления? Но посмотрите на глубинную структуру линейной регрессии, и вы увидите, что она соответствует выбору наилучшей точечной оценки при гауссовской функции правдоподобия и равномерном априорном распределении параметров.

Хотите использовать регуляризованную линейную регрессию, потому что на практике она работает лучше? Что ж, это (как скажет байесианец) соответствует наличию гауссовского априорного распределения весов.

Иногда вы не можете использовать байесовские методы буквально — на самом деле, довольно часто. Но когда вы можете применить точный байесовский расчёт, учитывающий каждую крупицу доступных знаний, дело сделано. Вы никогда не найдёте статистического метода, который дал бы лучший ответ. Вы можете найти дешёвое приближение, которое отлично работает почти всегда, и оно действительно потребует меньше ресурсов, но оно не будет более точным. Разве только если этот другой метод использует знания — скажем, замаскированные под априорную информацию, — которые вы не включили в байесовский расчёт. Но если вы внесёте эту априорную информацию в байесовский расчёт, он снова покажет такой же или лучший результат.

Когда вы используете ad hoc статистический инструмент старой школы с таким же ad hoc обоснованием (хотя часто весьма интересным), вы никогда не знаете, не придумает ли завтра кто-нибудь ещё более хитрый инструмент. Но когда вы можете напрямую использовать расчёт, отражающий байесовский закон, вы у цели — это всё равно что умудриться поставить тепловой двигатель Карно в свой автомобиль. Это, как говорится, «байес-оптимально».

Мне кажется, что сторонники «ящика с инструментами» смотрят на последовательность кубов {1, 8, 27, 64, 125, ...}, указывают на первые разности {7, 19, 37, 61, ...} и говорят: «Смотрите, жизнь не всегда так проста — нужно приспосабливаться к обстоятельствам». А байесианцы указывают на третьи разности — лежащий в основе стабильный уровень {6, 6, 6, 6, 6, ...}. И критики возражают: «О чём вы вообще говорите?