Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

*

23. Сколько нужно свидетельств?

Ранее я определил свидетельство как «событие, запутанное причинно-следственными связями с тем, о чём вы хотите узнать», а «запутанное» — как «происходящее по-разному при разных возможных состояниях целевого объекта». Так сколько же запутанности — сколько свидетельств — требуется, чтобы подкрепить убеждение?

Давайте начнем с вопроса, достаточно простого, чтобы быть математическим: насколько прочно вы должны быть «запутаны» с лотереей, чтобы выиграть? Предположим, есть семьдесят шаров, которые вытягивают без возвращения, и для выигрыша нужно угадать шесть чисел. В таком случае существует 131 115 985 возможных выигрышных комбинаций, следовательно, случайно выбранный билет будет иметь вероятность выигрыша 1/131 115 985 (0,0000007%). Чтобы выиграть в лотерею, вам понадобятся свидетельства, достаточно избирательные, чтобы явно выделить одну комбинацию на фоне 131 115 984 альтернатив.

Предположим, вы можете провести несколько тестов, которые вероятностным образом отличают выигрышные номера лотереи от проигрышных. Например, вы можете ввести комбинацию в маленькую черную коробочку, которая всегда пищит, если комбинация выигрышная, и имеет лишь 1/4 (25%) шанса запищать, если комбинация неверна. В байесовской терминологии мы бы сказали, что отношение правдоподобия составляет 4 к 1. Это означает, что вероятность того, что коробочка запищит при вводе правильной комбинации, в 4 раза выше, чем вероятность того, что она запищит при неверной комбинации.

Возможных комбинаций всё ещё очень много. Если вы введёте 20 неверных комбинаций, коробочка чисто случайно запищит на 5 из них (в среднем). Если вы введёте все 131 115 985 возможных комбинаций, то, хотя коробочка гарантированно запищит на единственную выигрышную комбинацию, она также запищит и на 32 778 996 проигрышных комбинаций (в среднем).

Так что эта коробочка не позволяет вам выиграть в лотерею, но это лучше, чем ничего. Если бы вы использовали её, ваши шансы на выигрыш выросли бы с 1 из 131 115 985 до 1 из 32 778 997. Вы немного продвинулись к поиску своей цели, истины, в огромном пространстве возможностей.

Предположим, вы можете использовать другую чёрную коробочку, чтобы проверить комбинации дважды, независимо. Обе коробочки гарантированно запищат для выигрышного билета. Но шанс того, что коробочка запищит для проигрышной комбинации, равен 1/4 независимо для каждой коробочки; следовательно, шанс того, что обе коробочки запищат для проигрышной комбинации, составляет 1/16. Мы можем сказать, что совокупное свидетельство двух независимых тестов имеет отношение правдоподобия 16:1. Количество проигрышных лотерейных билетов, прошедших оба теста, составит (в среднем) 8 194 749.

Поскольку существует 131 115 985 возможных лотерейных билетов, вы можете предположить, что вам нужны свидетельства силой примерно 131 115 985 к 1 — событие или серия событий, вероятность возникновения которых для выигрышной комбинации в 131 115 985 раз выше, чем для проигрышной. На самом деле такого объема свидетельств хватит лишь на то, чтобы дать вам равные шансы на выигрыш в лотерею. Почему? Потому что если применить фильтр такой мощности к 131 миллиону проигрышных билетов, то в среднем один проигрышный билет этот фильтр пройдёт. Выигрышный билет также пройдёт фильтр. Таким образом, у вас останется два билета, прошедших фильтр, и только один из них окажется выигрышным. Шансы на выигрыш составят пятьдесят процентов, если вы можете купить только один билет.

Лучший способ взглянуть на проблему: вначале есть 1 выигрышный билет и 131 115 984 проигрышных билета, поэтому ваши шансы на выигрыш составляют 1:131 115 984. Если вы используете одну коробочку, вероятность того, что она запищит, равна 1 для выигрышного билета и 0,25 для проигрышного билета. Мы умножаем 1:131 115 984 на 1:0,25 и получаем 1:32 778 996. Добавление ещё одной коробочки со свидетельствами снова умножает шансы на 1:0,25, так что теперь шансы составляют 1 выигрышный билет к 8 194 749 проигрышным билетам.

Свидетельства удобно измерять в битах — не в тех битах, что на жёстком диске, а в математических битах, которые концептуально отличаются. Математические биты — это логарифмы вероятностей по основанию 1/2. Например, если существует четыре возможных исхода A, B, C и D, вероятности которых составляют 50%, 25%, 12,5% и 12,5%, и я скажу вам, что результатом стал «D», то я передал вам три бита информации, поскольку сообщил об исходе, вероятность которого составляла 1/8.

Так уж вышло, что 131 115 984 чуть меньше, чем 2 в 27-й степени. Таким образом, 14 коробочек, или 28 бит свидетельств — событие, вероятность которого при истинности гипотезы о билете в 268 435 456 раз выше, чем при её ложности, — сместят шансы с 1:131 115 984 до 268 435 456:131 115 984, что сокращается до 2:1. Шансы 2 к 1 означают два шанса выиграть на каждый шанс проиграть, поэтому вероятность выигрыша при наличии 28 бит свидетельств равна 2/3. Добавление ещё одной коробочки, то есть ещё 2 бита свидетельств, увеличит шансы до 8:1. Добавление ещё двух коробочек поднимет шансы на победу до 128:1.

Так что, если вы хотите обосновать сильное убеждение в том, что выиграете в лотерею — произвольно определим это как вероятность ошибки менее 1%, — 34 бита свидетельств о выигрышной комбинации должны справиться с задачей.

В целом правила взвешивания того, «сколько нужно свидетельств», следуют схожему шаблону: чем больше пространство возможностей, в котором находится гипотеза, или чем более невероятной априори она кажется по сравнению со своими соседями, или чем большей уверенности вы хотите достичь, тем больше свидетельств вам требуется.

Вы не можете нарушить правила; вы не можете сформировать точные убеждения на основе недостаточных свидетельств. Допустим, перед вами в ряд выстроены 10 коробочек, и вы начинаете вводить в них комбинации. Вы не можете остановиться на первой же комбинации, при которой запищат все 10 коробочек, заявив: «Но ведь шансы, что такое произойдёт с проигрышной комбинацией — миллион к одному! Я просто проигнорирую эти оторванные от жизни байесовские правила и остановлюсь на этом». В среднем на каждый выигрышный билет такой тест пройдёт 131 проигрышный. Учитывая пространство возможностей и априорную маловероятность, вы поспешили с чересчур сильным выводом на основе недостаточных свидетельств. Это не бессмысленное бюрократическое предписание, это математика.

Конечно, вы всё ещё можете верить на основе недостаточных свидетельств, если таков ваш каприз; но вы не сможете верить безошибочно. Это всё равно что пытаться вести машину вообще без топлива только потому, что вы не верите в нелепую занудную идею, будто для передвижения требуется горючее. Было