Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

оставшаяся расплывчатая теория, а это требует, чтобы расплывчатая теория изначально была в десять раз более вероятной, чем эта точная теория, поскольку точная теория точнее соответствует свидетельству.

Если мы просто видим одно число, например 51, это не меняет априорную вероятность того, было ли само явление «точным» или «расплывчатым». Но фактически это концентрирует всю вероятность этих двух классов гипотез в единственную уцелевшую гипотезу каждого класса.

Разумеется, называть само явление точным или расплывчатым — грубая ошибка, пример того, что Джейнс называет ошибкой проекции разума.7 Точность или расплывчатость — это свойство карт, а не территорий. Скорее нам стоит спросить, остается ли цена в супермаркете постоянной или же колеблется. Гипотеза «расплывчатого» типа — хорошее описание для колеблющейся цены. Точная же карта подойдет для неизменной территории.

Другой пример: вы подбрасываете монету десять раз и получаете последовательность ООРРО:РРРРО. Возможно, вы изначально думали, что вероятность того, что монета подстроена, составляет 1%. Разве гипотеза «Эта монета подстроена так, чтобы выдавать ООРРО:РРРРО» не распределяет в тысячу раз больше массы правдоподобия на наблюдаемый результат по сравнению с гипотезой о честной монете? Да. Разве апостериорные шансы того, что монета подстроена, не меняются на 10:1? Нет. Априорная вероятность в 1% того, что «монета подстроена», должна распределяться по всем возможным видам подстроек: монета подстроена выдавать ООРРО:РРРРО, монета подстроена выдавать РРООР:ООООР и так далее. Априорная вероятность того, что монета подстроена именно под ООРРО:РРРРО, составляет не 1%, а одну тысячную процента. В итоге апостериорная вероятность того, что монета подстроена выдавать ООРРО:РРРРО, составит один процент. Иными словами: вы думали, что монета, скорее всего, честная, но с вероятностью в один процент она могла быть подстроена под какую-то случайную последовательность; вы подбросили монету; монета выдала внешне случайную последовательность; и это ровным счетом ничего не говорит вам о том, честная она или подстроенная. Но это все же говорит вам о том, под какую последовательность она подстроена, если она действительно подстроена.

Эта притча помогает проиллюстрировать, почему байесианцы должны думать об априорных вероятностях. Существует направление в статистике, которое иногда называют «ортодоксальной» или «классической» статистикой; оно настаивает на том, чтобы обращать внимание только на правдоподобия. Но если обращать внимание только на правдоподобия, то в конечном итоге какая-нибудь гипотеза о подстроенной монете всегда будет побеждать гипотезу о честной монете — явление, известное как «переобучение» теории под данные. После тридцати бросков правдоподобие гипотезы о подстроенной под эту последовательность монете будет в миллиард раз выше, чем гипотезы о честной монете. Только если гипотеза о подстроенной монете (точнее, конкретно эта гипотеза о подстроенной монете) априори в миллиард раз менее вероятна, у нее появляется шанс проиграть гипотезе о честной монете.

Если вы встряхнете монету, чтобы сбросить результат, и начнете подбрасывать ее снова, и монета снова выдаст ООРРО:РРРРО — это совсем другое дело. Это действительно поднимет апостериорные шансы гипотезы о подстроенной монете до 10:1, даже если начальная вероятность составляла всего 1%.

Точно так же, если мы проведем два последовательных измерения счетчика частиц (или цены в супермаркете по средам) и оба измерения покажут 51, то точная теория победит с шансами 10:1.

Итак, точная теория побеждает, но расплывчатая теория все равно показала бы себя лучше, чем отсутствие какой-либо теории. Рассмотрим третью теорию — гипотезу нулевого знания, или распределение с максимальной энтропией, согласно которой любой результат от нуля до 99 равновероятен. Предположим, мы видим результат 51. Расплывчатая теория дала лучший прогноз, чем распределение с максимальной энтропией, — присвоила большее правдоподобие наблюдаемому нами исходу. Расплывчатая теория буквально лучше, чем ничего. Предположим, мы начали с шансов 1:20 в пользу гипотезы о полном неведении. (Почему шансы 1:20? Существует только одна гипотеза о полном неведении, и, кроме того, это особенно простой и интуитивно понятный вид гипотезы — бритва Оккама.) После того как мы увидели результат 51, которому расплывчатая теория предсказывала 9% вероятности, а гипотеза полного неведения — 1%, апостериорные шансы сдвигаются к 10:20, или 1:2. Если затем мы увидим еще один результат 51, апостериорные шансы составят 10:2, что означает 83% вероятности в пользу расплывчатой теории — при условии, что мы не рассматриваем более точную теорию.

И все же робость расплывчатой теории — ее нежелание давать точное предсказание и рисковать опровержением при любом другом результате — делает ее уязвимой перед смелой, точной теорией. (Разумеется, при условии, что смелая теория угадает результат правильно!) Предположим, априорные шансы точной, расплывчатой и невежественной теорий составляли 1:10:200 — априорные вероятности в 0,5%, 4,7% и 94,8% соответственно. Эти цифры отражают наше априорное распределение вероятностей по классам гипотез, где масса вероятности распределена по целым классам следующим образом: 50% на то, что явление колеблется по всем цифрам, 25% на то, что оно колеблется в пределах некоторого десятка, и 25% на то, что оно каждый раз повторяет одно и то же число. Одна гипотеза полного неведения, 10 возможных гипотез для диапазона десятков, 100 возможных гипотез для повторяющегося числа. Таким образом, априорные шансы точной гипотезы «51», расплывчатой гипотезы «пятидесятые» и гипотезы полного неведения составляют 1:10:200.

После получения результата 51 с предсказанными вероятностями 90%, 9% и 1% апостериорные шансы становятся равными 90:90:200 = 9:9:20. После получения еще одного результата 51 апостериорные шансы становятся равными 810:81:20, или 89%, 9% и 2%. Теперь точная теория предпочтительнее расплывчатой, которая, в свою очередь, предпочтительнее невежественной.

Теперь рассмотрим глупую теорию, которая предсказывает 90%-ную вероятность увидеть результат от нуля до девяти. Глупая теория присваивает фактическому исходу — числу 51 — вероятность 0,1%. Если изначально шансы для точной, расплывчатой, невежественной и глупой теорий составляли 1:10:200:10, то после однократного наблюдения 51 апостериорные шансы составят 90:90:200:1. Глупая теория была опровергнута (ее апостериорная вероятность составила всего 0,2%).

Вполне возможно иметь настолько плохую модель, что она будет хуже, чем ничего — если эта модель концентрирует массу вероятности в стороне от фактического исхода, уверенно предсказывая неверные ответы. Такая гипотеза настолько слаба, что проигрывает даже гипотезе полного неведения. Неведение лучше, чем антизнание.

К слову: в области искусственного интеллекта порой возникает мода воспевать величие случайности. Время от времени какой-нибудь исследователь ИИ обнаруживает, что если добавить шум в один из его алгоритмов, алгоритм начинает работать лучше. Об этом результате сообщается с огромным энтузиазмом, за чем следует поток слащавых восторгов по поводу творческих сил хаоса, непредсказуемости, спонтанности, незнания того, что творит твой собственный ИИ, и так далее. (См. в качестве примера The Imagination Engine; согласно их рекламным проспектам, они продают израненные и умирающие