Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

25%. Мы требуем, чтобы суммарный балл в обоих случаях был одинаковым, так чтобы не имело значения, как именно мы делим эксперименты и прогнозы, — суммарный балл всегда должен оставаться абсолютно тем же самым. В этом и заключается наша инвариантность.

Мы только что потребовали следующее:

Очки[P(зеленый1, синий2)] = Очки[P(зеленый1)] + Очки[P(синий2|зеленый1)].

И мы уже знаем, что:

P(зеленый1, синий2) = P(зеленый1) × P(синий2|зеленый1).

Единственное возможное правило начисления очков — это:

Очки(P) = log(P).

Согласно новому правилу, ваши очки — это логарифм вероятности, которую вы приписали выигравшему исходу.

Основание логарифма произвольно — используем ли мы десятичный логарифм или двоичный, правило начисления очков сохраняет желаемую инвариантность. Но нам нужно выбрать какое-то конкретное основание. Математик выбрал бы основание *e*; инженер — основание десять; специалист по информатике — основание два. Если мы возьмем десятичное основание, то сможем переводить значения в децибелы, как в «Интуитивном объяснении»; но иногда проще оперировать битами.

Логарифмическое правило начисления очков является собственным — ожидаемый максимум достигается тогда, когда мы сообщаем свои точные ожидания; оно вознаграждает за честность. Если мы считаем, что синяя лампа загорится с вероятностью 60%, и рассчитаем ожидаемый выигрыш для различных схем ставок, то обнаружим, что максимизируем свой ожидаемый выигрыш, сказав экспериментатору «60%». (Читатели, знакомые с математическим анализом, могут это проверить). Это правило оценки также дает инвариантный суммарный балл независимо от того, считается ли двойное нажатие кнопки «одним экспериментом» или «двумя экспериментами». Однако все выигрыши теперь отрицательные, поскольку мы берем логарифм вероятности, а вероятность лежит в диапазоне от нуля до единицы. Десятичный логарифм от 0,1 равен -1; десятичный логарифм от 0,01 равен -2. Ничего страшного. Мы уже согласились, что это правило может быть совсем не похоже на то, что используют настоящие букмекеры. При желании вы можете представить, что у экспериментатора есть куча денег, и в конце эксперимента он выплачивает вам некоторую сумму минус ваш большой отрицательный балл. (Эм, точнее, сумму плюс ваш отрицательный балл). Скажем, у экспериментатора есть сто долларов, а к концу ста раундов вы набрали -48 очков, так что вы получаете 52 доллара.

Очки в размере -48 по какому основанию? Мы можем устранить двусмысленность в оценке, указав единицы измерения. Десять децибел соответствуют коэффициенту 10; минус десять децибел соответствуют коэффициенту 1/10. Приписывание вероятности 0,01 реальному исходу принесет -20 децибел. Вероятность 0,03 даст около -15 децибел. Иногда мы можем использовать биты: 1 бит — это коэффициент 2, -1 бит — это коэффициент 1/2. Вероятность 0,25 принесет -2 бита; вероятность 0,03 — около -5 бит.

Если вы приходите к оценке вероятности P для каждого цвета — P(красный), P(синий), P(зеленый), — то ваше ожидаемое количество очков составит:

Очки(P) = log(P)

Предположим, вы оценили вероятности в 25% для красного, 50% для синего и 25% для зеленого. Давайте на минуту перейдем к основанию 2, чтобы упростить задачу. Ваше ожидаемое количество очков составит:

Очки(красный) = −2 бита, загорается в 25% случаев,

Очки(синий) = −1 бит, загорается в 50% случаев,

Очки(зеленый) = −2 бита, загорается в 25% случаев,

Математическое ожидание(Очки) = −1,5 бита.

Сравните наше байесовское правило оценки с обычным, разговорным способом выражения степени уверенности, когда кто-то может небрежно бросить: «Я на 98% уверен, что в рапсовом масле содержится больше омега-3 жиров, чем в оливковом». На самом деле под этим подразумевается, что человек *чувствует* себя уверенным на 98% — словно внутри него есть шкала прогресса, измеряющая силу эмоции уверенности, и эта шкала заполнена на 98%. Да и сама эта шкала вряд ли показала бы ровно 98%, будь у нас способ ее измерить. Слово «98%» — это просто разговорный способ сказать: «Я почти уверен, но не до конца». Это вовсе не значит, что вы получите максимальный ожидаемый выигрыш, если поставите на этот исход ровно 98 центов игровых денег. Вам следует присваивать калиброванную уверенность в 98% только в том случае, если вы уверены в своих силах настолько, что, ответив подряд на сотню подобных вопросов равной сложности (независимых друг от друга), вы ошибетесь в среднем лишь дважды. Со временем мы начнем отслеживать, как часто вы оказываетесь правы, и если выяснится, что при заявлении «уверен на 90%» вы правы примерно в семи случаях из десяти, мы скажем, что вы плохо откалиброваны.

Если вы тысячу раз скажете «вероятность 98%» и окажетесь удивлены всего пять раз, мы все равно оштрафуем вас за плохую калибровку. Вы выделяете слишком много вероятностной массы под возможность того, что ошибаетесь. Чтобы максимизировать свои очки, вам следовало говорить «вероятность 99,5%». Правило оценки вознаграждает точную калибровку, не поощряя ни излишнюю скромность, ни высокомерие.

На этом этапе некоторым читателям может прийти в голову очевидный способ достичь идеальной калибровки: просто подбрасывать монетку для каждого бинарного вопроса (с ответами «да/нет») и оценивать свою уверенность в ответе в 50%. Вы говорите «50%» и оказываетесь правы в половине случаев. Разве это не идеальная калибровка? Да. Но калибровка — лишь один из компонентов нашей байесовской оценки; вторым компонентом является различительная способность.

Предположим, я задам вам десять вопросов с ответами «да/нет». Вы абсолютно ничего не знаете по теме, поэтому для каждого вопроса делите свою вероятностную массу поровну (пятьдесят на пятьдесят) между «Да» и «Нет». Поздравляю, вы идеально откалиброваны — ответы, для которых вы указали «вероятность 50%», оказывались верными ровно в половине случаев. Это так независимо от последовательности правильных ответов или от того, сколько именно ответов было «Да». В десяти экспериментах вы произнесли «50%» двадцать раз — вы сказали «50%» для Да1, Нет1, Да2, Нет2, Да3, Нет3... В десяти из этих случаев ответ оказался верным, а именно: Да1, Нет2, Нет3... И в десяти из этих случаев ответ был неверным: Нет1, Да2, Да3...

Теперь я даю собственные ответы, прилагая больше усилий и пытаясь различить, является ли верным ответом «Да» или «Нет». Я присваиваю 90-процентную уверенность каждому из выбранных мной ответов, и выбранный мной ответ оказывается неверным дважды. Я откалиброван хуже вас. Я сказал «90%» в десяти случаях и ошибся два раза. В следующий раз, когда кто-то будет меня слушать, он может мысленно переводить «90%» как «80%», зная, что, когда я уверен на 90%, я прав примерно в 80% случаев. Но вероятность, которую вы присвоили итоговому результату, составляет 1/2