Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Выигрыш является функцией от победного цвета и схемы ставок. Мы хотим вычислить средний выигрыш при заданной схеме ставок и известных частотах побед каждого цвета. Математический термин для подобного рода вычислений — когда берется функция от каждого исхода и взвешивается по его частоте — это математическое ожидание. Таким образом, чтобы рассчитать наш ожидаемый выигрыш, мы вычисляем:

= P(blue) × F(blue) + P(green) × F(green) + P(red) × F(red)

= $0,40 × 30% + $0,50 × 20% + $0,10 × 50%

= $0,12 + $0,10 + $0,05

= $0,27.

При такой схеме ставок я буду выигрывать в среднем около 27 центов за раунд.

Я распределил свои игровые деньги крайне произвольно, и возникает вопрос: могу ли я увеличить свой ожидаемый выигрыш, распределив деньги более разумно? При данном правиле начисления очков я максимизирую свой ожидаемый выигрыш, если поставлю весь доллар на красный. Несмотря на то, что мой ожидаемый выигрыш составляет 50 центов за раунд, лампа может на самом деле вспыхнуть в таком порядке: зеленый, синий, синий, зеленый, зеленый — и я получу фактический выигрыш, равный нулю. Однако вероятность того, что в пяти раундах подряд лампа загорится не красным, составляет примерно 3%. Сравните это с карточной игрой «красное/синее» в главе «Закономерная неопределенность».

Собственное правило начисления очков — это такое правило оценки ставок, при котором вы максимизируете свой ожидаемый выигрыш, распределяя игровые деньги в точном соответствии с вероятностью вспышки каждого цвета. Нам нужно такое правило оценки, при котором, если лампы на самом деле загораются с частотой 30% для синего, 20% для зеленого и 50% для красного, вы сможете максимизировать свой средний выигрыш только тогда, когда поставите 30 центов на синий, 20 центов на зеленый и 50 центов на красный. Собственное правило начисления очков — это то, которое заставляет вашу оптимальную ставку в точности отражать вашу оценку вероятностей. (Иногда его также называют строго собственным правилом начисления очков.) Как мы уже видели, далеко не все правила оценки обладают этим свойством; и если вы придумаете случайное, на первый взгляд разумное правило, оно, скорее всего, им обладать не будет.

Одно из правил, обладающих этим свойством, состоит в том, чтобы выплачивать доллар за вычетом квадрата ошибки ставки, а не саму ставку: если вы поставите 30 центов на загоревшийся цвет, ваша ошибка составит 70 центов, квадрат ошибки составит 49 центов (0,72 = 0,49), а доллар минус квадрат ошибки — 51 цент.3 (Предположительно, ваши игровые деньги выражены в квадратных корнях из центов, так что квадрат ошибки является денежной суммой.)

Мы не будем использовать правило квадрата ошибки. Обычные статистики вычисляют квадрат ошибки для всего, что видят вокруг, но только не байесовские статистики.

Мы добавим новое требование: нам нужно не просто собственное правило начисления очков, а чтобы оно давало один и тот же результат независимо от того, применяем ли мы его к раундам по отдельности или ко всем вместе. Вот что делают байесовцы вместо того, чтобы возводить ошибки в квадрат: мы требуем инвариантности.

Предположим, я нажимаю кнопку дважды подряд. Существует девять возможных исходов: зеленый-зеленый, зеленый-синий, зеленый-красный, синий-зеленый, синий-синий, синий-красный, красный-зеленый, красный-синий и красный-красный. Предположим, что выигрывает зеленый, а затем синий. Экспериментатор начислит первые очки на основе назначенной нами вероятности P(зеленый1), а вторые — на основе P(синий2|зеленый1).4 Мы сделаем два прогноза и получим две оценки. Наш первый прогноз — это вероятность, которую мы присвоили цвету, победившему в первом раунде (зеленому). Наш второй прогноз — вероятность того, что синий победит во втором раунде, при условии, что в первом раунде победил зеленый. Почему нам нужно писать P(синий2|зеленый1) вместо простого P(синий2)? Потому что у вас может быть гипотеза о мигании лампы, гласящая, что «синий никогда не следует за зеленым», «синий всегда следует за зеленым» или «синий следует за зеленым с вероятностью 70%». В таком случае, увидев зеленый в первом раунде, вы, возможно, захотите пересмотреть свой прогноз — изменить свои ставки — на второй раунд. Вы всегда можете скорректировать свои прогнозы вплоть до момента, когда экспериментатор нажмет на кнопку, используя любые крупицы информации; но когда лампа вспыхнет, менять ставку будет уже поздно.

Предположим, что фактический исход — зеленый1, за которым следует синий2. Мы требуем следующей инвариантности: я должен получить одинаковую сумму очков независимо от того:

Оценивают ли меня дважды — сначала за прогноз P(зеленый1), а затем за прогноз P(синий2|зеленый1).

Или же меня оценивают один раз за совместный прогноз P(зеленый1 и синий2).

Предположим, я приписываю вероятность 60% исходу зеленый1, и действительно загорается зеленый свет. Теперь я должен предложить вероятности для цветов во втором раунде. Я оцениваю вероятность исхода синий2 и выделяю под него 25% своей вероятностной массы. И вот — во втором раунде лампа загорается синим. Таким образом, в первом раунде моя ставка на победивший цвет составила 60%, а во втором — 25%. Но я мог также в самом начале эксперимента, сразу после назначения P(зеленый1), вообразить, что лампа сначала загорится зеленым, представить, как я обновлю свои теории на основе этой информации, и сказать, какую уверенность я припишу синему цвету на следующем раунде, если первый раунд окажется зеленым. То есть я создаю вероятности P(зеленый1) и P(синий2|зеленый1). Перемножив эти две вероятности, мы получим совместную вероятность: P(зеленый1 и синий2) = 15%.

У двойного эксперимента есть девять возможных исходов. Если я задам девять вероятностей для P(зеленый1, зеленый2), P(зеленый1, синий2), ..., P(красный1, синий2), P(красный1, красный2), то вся вероятностная масса в сумме должна составлять не более единицы. Я даю прогнозы для девяти взаимоисключающих исходов «двойного эксперимента».

Нам нужно такое правило начисления очков (и оно, возможно, будет совсем не похоже на то, чем пользуются обычные букмекеры), при котором мой результат не менялся бы независимо от того, рассматриваем ли мы двойной исход как два прогноза или как один. Я могу относиться к последовательности из двух исходов как к единому эксперименту «нажать кнопку дважды» и получить очки за прогноз P(синий2, зеленый1) = 15%. Либо же я могу получить очки один раз за свой первый прогноз P(зеленый1) = 60%, а затем еще раз — за прогноз P(синий2|зеленый1) =