Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Каковы шансы, что на кубике выпала единица? Что ж, априорные шансы равны 1:5 (что соответствует вещественному числу 1/5 = 0,20), а отношение правдоподобия составляет 0,2:0,1 (соответствует вещественному числу 2). Я могу просто перемножить их и получить апостериорные шансы 2:5 (что соответствует вещественному числу 2/5, или 0,40). Затем при желании я могу перевести их обратно в вероятность и получить (0,4∕1,4) = 2/7 = ~29%.

Таким образом, с шансами проще работать при байесовском обновлении — если использовать вероятности, придётся применять теорему Байеса в её сложном варианте. Зато вероятности удобнее для ответов на вопросы вроде: «Если я брошу шестигранный кубик, какова вероятность, что выпадет число от 1 до 4?». Вы можете сложить вероятности 1/6 для каждой грани и получить 4/6, но вы не можете просто сложить отношения шансов 0,2 для каждой грани и получить отношение шансов 0,8.

Зачем я всё это говорю? Чтобы показать, что «отношения шансов» — это столь же законный способ отображения неопределенности на вещественные числа, что и «вероятности». Отношения шансов удобнее для одних операций, вероятности — для других. Знаменитое доказательство, известное как теорема Кокса (вместе с различными её расширениями и уточнениями), показывает, что все способы представления неопределенности, подчиняющиеся некоторым разумно звучащим ограничениям, в итоге оказываются изоморфными друг другу.

Почему важно, что отношения шансов столь же законны, как и вероятности? Вероятности в их обычном виде лежат в диапазоне от 0 до 1, и кажется, что и 0, и 1 должны быть легко достижимыми величинами — ведь легко увидеть 1 зебру или 0 единорогов. Но когда вы переводите вероятности в отношения шансов, 0 переходит в 0, а вот 1 переходит в положительную бесконечность. И теперь абсолютная истина уже не кажется столь легкодостижимой.

Способ представления, который делает байесовское обновление ещё проще, — это логарифм шансов (именно так рекомендовал думать о вероятностях Э. Т. Джейнс). Допустим, априорная вероятность некоторого утверждения составляет 0,0001 — это соответствует логарифму шансов примерно в -40 децибел. Затем вы сталкиваетесь со свидетельством, которое кажется в 100 раз более вероятным, если утверждение истинно, нежели если оно ложно. Это даёт 20 децибел свидетельства. Таким образом, апостериорные шансы составят около -40 дБ + 20 дБ = -20 дБ, то есть апостериорная вероятность равна ~0,01.

При переводе вероятностей в логарифмы шансов 0 переходит в отрицательную бесконечность, а 1 — в положительную бесконечность. Теперь и бесконечная уверенность, и бесконечная невероятность кажутся чуть более недосягаемыми.

Но при переходе к отношениям шансов значения 0,502 и 0,503 переходят в 1,008 и 1,012, а 0,9999 и 0,99999 — в 9 999 и 99 999. А при переходе к логарифмам шансов 0,502 и 0,503 превращаются в 0,03 децибела и 0,05 децибела, в то время как 0,9999 и 0,99999 — в 40 децибел и 50 децибел.

Когда вы работаете с логарифмами шансов, расстояние между любыми двумя степенями неопределённости равно количеству свидетельств, которое потребуется, чтобы перейти от одной к другой. То есть логарифм шансов даёт нам естественную меру расстояния между степенями уверенности.

Использование логарифма шансов выявляет тот факт, что достижение бесконечной уверенности требует бесконечно сильных свидетельств, точно так же как бесконечная абсурдность требует бесконечно сильных опровергающих свидетельств.

Более того, у всевозможных стандартных теорем теории вероятностей возникают особые случаи, если попытаться подставить в них единицы или нули — например, когда вы пытаетесь провести байесовское обновление для наблюдения, которому присвоили вероятность 0.

Поэтому я предлагаю считать, что 1 и 0 не входят в множество вероятностей — точно так же как отрицательная и положительная бесконечности, которые не подчиняются аксиомам поля, не входят в множество вещественных чисел.

Главная причина, почему это расстроило бы специалистов по теории вероятностей, заключается в том, что нам пришлось бы заново выводить теоремы, ранее полученные в предположении, что мы можем проводить маргинализацию совместной вероятности, складывая все её части так, чтобы в сумме они давали 1.

Однако в реальном мире, когда вы бросаете игральную кость, нет буквально никакой бесконечной уверенности в том, что выпадет какое-то число от 1 до 6. Кость может встать на ребро, в неё может попасть метеорит, или Тёмные Владыки Матрицы могут протянуть руку и написать «37» на одной из граней.

Если бы вы ввели магический символ для обозначения «всех возможностей, которые я не учёл», то вы могли бы провести маргинализацию по событиям, включая этот магический символ, и прийти к магическому символу «T», обозначающему бесконечную уверенность.

Но я предпочёл бы задаться вопросом, нельзя ли как-то вывести теорему без использования магических символов с особым поведением. Это было бы куда элегантнее. Подобно тому как существуют математики, отказывающиеся верить в закон исключённого третьего или в бесконечные множества, мне хотелось бы быть специалистом по теории вероятностей, который не верит в абсолютную уверенность.

*

56. Ваша рациональность — моё дело.

В некоторых отзывах на эссе «Лотереи: пустая трата надежды» меня упрекали за то, что я осмелился критиковать чужие решения: если кто-то другой решает покупать лотерейные билеты, кто я такой, чтобы возражать? Это частный случай более общего вопроса: какое мне дело до того, что кто-то другой предпочитает верить в то, что приятно, а не в то, что истинно? Разве каждый из нас не может сам решать, заботит ли его истина?

Очевидный колкий ответ звучит так: «А почему вас волнует, волнует ли меня, волнует ли кого-то другого истина?» Довольно непоследовательно, если ваша функция полезности содержит отрицательный член, зависящий от чужой функции полезности, которая, в свою очередь, содержит член, зависящий от функции полезности кого-то ещё. Но это лишь колкий ответ, а не настоящий ответ.

Что ж, вот мой ответ: я считаю правильным и естественным для себя как человека интересоваться будущим и тем, во что превратится человеческая цивилизация. Один из этих интересов — стремление человечества к истине, которое медленно крепло из поколения в поколение (ведь наука существовала не всегда). Я хочу укрепить это стремление ещё сильнее в этом поколении. Это моё желание для Будущего. Ибо все мы — игроки на этом огромном игровом поле, признаём мы эту ответственность или нет.

И это делает вашу рациональность моим делом.

Опасная ли это мысль? Да, и не просто в каком-то приятно-будоражащем смысле «опасная». Людей сжигали заживо просто потому, что какой-то жрец решал, что они думают не так, как следовало. Идея сжигать людей заживо за то, что они