Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

в десятой степени, то есть 0,001 или 1/1024. Вероятность, которую итоговому результату присвоил я, равна 90% в восьмой степени, умноженным на 10% во второй степени, 0,98 × 0,12, что дает 0,004 или 0,4%. Ваша калибровка идеальна, а моя нет, но моя более высокая различительная способность между правильными и неправильными ответами с лихвой это компенсирует. Моя итоговая оценка выше — я присвоил бо́льшую совместную вероятность итоговому результату всего эксперимента. Будь я менее самоуверенным и лучше откалиброванным, вероятность, присвоенная мной итоговому результату, составила бы 0,88 × 0,22, что равняется 0,006 или 6%.

Можно ли добиться еще лучшего результата? Конечно. Вы могли угадать абсолютно все ответы правильно и присвоить каждому из них вероятность 99%. Тогда вероятность, которую вы присвоили итоговому результату всего эксперимента, составила бы 0,9910 ≈ 90%.

Ваша оценка составила бы log (90%), что равно -0,45 децибела или -0,15 бита. Нам необходимо брать логарифм, чтобы при попытке максимизировать мою ожидаемую оценку, ∑ P × log (P), у меня не было стимула жульничать. Без логарифмического правила я бы максимизировал свою ожидаемую оценку, отдавая всю вероятностную массу наиболее вероятному исходу. Кроме того, без логарифмического правила моя итоговая оценка различалась бы в зависимости от того, считаем ли мы несколько раундов за несколько отдельных экспериментов или за один общий эксперимент.

Простое преобразование может исправить плохую калибровку за счет снижения различительной способности. Если у вас есть привычка говорить «миллион к одному» при 90 правильных и 10 неправильных ответах на каждые сто вопросов, мы можем сделать вашу калибровку идеальной, заменив «миллион к одному» на «девять к одному». Напротив, простого способа повысить (успешную) различительную способность не существует. Если вы обычно говорите «девять к одному» при 90 правильных ответах на каждые сто вопросов, я легко могу увеличить вашу заявленную различительную способность, заменив «девять к одному» на «миллион к одному». Но никакое простое преобразование не способно увеличить вашу фактическую различительную способность так, чтобы ваши ответы различали 95 правильных и 5 неправильных ответов. Из Йейтса и др.:5 «В то время как хорошей калибровки часто можно достичь с помощью простых математических преобразований (например, прибавлением константы к каждому суждению о вероятности), хорошая различительная способность требует доступа к весомым прогностическим свидетельствам и умения эти свидетельства использовать, что трудно обрести в любой реальной, практической ситуации». Если у вас нет способности отличать истину от лжи, вы можете достичь идеальной калибровки, признав свое незнание; однако само по себе признание незнания не поможет вам отличить истину от лжи.

Таким образом мы избавляемся от еще одного ложного стереотипа о рациональности — будто она заключается в смирении, скромности и признании своего бессилия перед неведомым. Это всего лишь уловка для жуликов — присваивать вероятность в 50% всем вопросам типа «да/нет». Наше правило оценки побуждает вас стремиться к лучшему результату, если это в ваших силах. Если вы чего-то не знаете — признайте свое незнание; если вы уверены — признайте свою уверенность. Мы штрафуем вас за уверенность, когда вы неправы, но и вознаграждаем за уверенность, когда вы правы. В этом и заключается достоинство надлежащего правила оценки.

Предположим, я подбрасываю монетку двадцать раз. Если я считаю монетку честной, лучший прогноз, который я могу сделать — это предсказать равные шансы на орла или решку при каждом броске. Если я считаю монетку честной, я присвою одинаковую вероятность любой возможной последовательности из двадцати бросков. Существует примерно миллион (1 048 576) возможных последовательностей из двадцати бросков монетки, а в моем распоряжении есть всего 1,0 вероятностной массы. Поэтому каждой отдельной возможной последовательности я присваиваю вероятность (1/2)20 — шансы примерно миллион к одному; -20 бит или -60 децибел.

Я сделал экспериментальное предсказание и получил оценку в -60 децибел! Разве это не опровергает гипотезу? Интуитивно кажется, что нет. Мы ведь не отшатываемся в изумлении, когда после двадцати бросков монетки выпадает случайный с виду результат, восклицая: «Надо же, шанс на это был один на миллион!» Но шансы против выпадения именно этой конкретной последовательности действительно составляют миллион к одному, в чем я легко убедился бы, если бы наивно предсказал точно такой же исход для следующей серии из двадцати бросков. Вполне нормально иметь теории, которые присваивают исходам ничтожно малые вероятности — до тех пор, пока ни одна другая теория не справляется лучше. Но если бы кто-то, используя альтернативную гипотезу, заранее записал точную последовательность в запечатанном конверте и присвоил бы ей вероятность в 99%, я бы усомнился в честности монетки. При условии, конечно, что она запечатала всего один конверт, а не миллион.

Это показывает, что нам следует ответить, руководствуясь здравым смыслом, но не объясняет, как этот ответ здравого смысла вытекает из математики. Чтобы объяснить, почему здравый смысл здесь прав, нам нужно объединить всё сказанное до сих пор в единую систему байесовского обновления убеждений. Когда мы закончим, у нас появится техническое понимание разницы между чисто вербальным и строгим техническим пониманием.

Представьте себе эксперимент, результатом которого является целое число от 0 до 99. Например, экспериментом может быть счетчик частиц, фиксирующий количество частиц, пролетевших за минуту. Или же эксперимент может заключаться в том, чтобы зайти в супермаркет в среду, посмотреть цену 10-унцового пакета дробленых грецких орехов и записать две последние цифры этой цены.

Мы тестируем несколько различных гипотез, пытающихся предсказать результат эксперимента. Каждая гипотеза дает распределение вероятностей по всем возможным исходам — в данном случае целым числам от 0 до 99. Исходы взаимно исключают друг друга, поэтому сумма вероятностной массы в распределении должна быть равна единице (или меньше); мы не можем предсказать 90-процентную вероятность выпадения числа 42 и одновременно 90-процентную вероятность выпадения 43.

Предположим, существует точная гипотеза, предсказывающая 90-процентный шанс получить результат 51. (То есть гипотеза состоит в том, что супермаркет обычно устанавливает цену на грецкие орехи в размере «X долларов и 51 цент».) Точная теория поставила 90% своей вероятностной массы на исход 51. В результате остается еще 10% вероятностной массы, которую нужно распределить по 99 другим возможным исходам — всем числам от 0 до 99, кроме 51. Теория больше ничего не конкретизирует, поэтому мы равномерно распределяем оставшиеся 10% вероятностной массы по 99 возможностям, присваивая вероятность 1/990 каждому результату, отличному от 51. Для удобства записи мы округлим 1/990 до 0,1%.

Это распределение вероятностей аналогично правдоподобию или условной вероятности результата при условии данной гипотезы. Назовем его распределением правдоподобия для этой гипотезы