Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

H(X,Y,Z) = H(X) + H(Y) + H(Z) - I(X;Z) - I(Z;Y) - I(X;Y),

но оказывается, что это не так.

Совместная система (X,Y,Z) имеет всего 16 возможных состояний — поскольку Z — это просто вопрос «Являются ли X и Y чётными или нечётными?», — поэтому H(X,Y,Z) = 4 бита.

Но если вы посчитаете по формуле, приведенной выше, вы получите:

(3 + 2 + 1 - 1 - 1 - 1) бита = 3 бита = НЕВЕРНО!

Почему? Потому что если у вас есть взаимная информация между X и Z, а также взаимная информация между Z и Y, это может включать в себя часть той же самой взаимной информации, которая, по нашим расчетам, существует между X и Y. В данном случае, например, знание того, что X чётно, говорит нам, что Z чётно, а знание того, что Z чётно, говорит нам, что Y чётно, но это та же самая информация, которую X сообщил бы нам о Y. Мы дважды учли часть наших знаний и в результате получили слишком маленькое значение энтропии.

Правильная формула (как мне кажется):

H(X,Y,Z) = H(X) + H(Y) + H(Z) - I(X;Z) - I(Z;Y) - I(X;Y|Z).

Здесь последний член, I(X;Y|Z), означает «информацию, которую X сообщает нам о Y при условии, что мы уже знаем Z». В данном случае X вообще ничего не сообщает нам о Y, если мы уже знаем Z, поэтому этот член обращается в ноль — и уравнение дает правильный ответ. Ну разве не прелесть?

«Нет, — резонно возразите вы, — ведь вы не объяснили мне, как вычислять I(X;Y|Z), а лишь привели словесный аргумент в пользу того, почему она должна быть равна нулю».

Мы вычисляем I(X;Y|Z) именно так, как вы и ожидали. Мы знаем, что I(X;Y) = H(X) + H(Y) - H(X,Y), следовательно:

I(X;Y|Z) = H(X|Z) + H(Y|Z) - H(X,Y|Z).

И теперь, надо полагать, вы хотите узнать, как вычислять условную энтропию? Что ж, исходная формула для энтропии выглядит так:

H(S) = ∑i{-P(Si) × log2(P(Si))}.

Если бы затем мы узнали новый факт Z0, наша оставшаяся неопределенность относительно S составляла бы:

H(S|Z0) = ∑i{-P(Si|Z0)log2(P(Si|Z0))}.

Поэтому если мы собираемся узнать некий новый факт Z, но пока не знаем, каким именно окажется этот Z, то в среднем мы ожидаем, что после этого наша неопределенность относительно S будет примерно такой:

H(S|Z) = ∑j{P(Zj)∑i{-P(Si|Zj)log2(P(Si|Zj))}}

Вот так вычисляются условные энтропии, из которых, в свою очередь, мы можем получить условную взаимную информацию.

Здесь есть всевозможные вспомогательные теоремы, например:

H(X|Y) = H (X,Y) - H(Y)

и

если I(X;Z) = 0 и I(Y;X|Z) = 0, то I(X;Y) = 0,

но я не собираюсь в них углубляться.

«Но, — спросите вы, — какое отношение всё это имеет к природе слов и их скрытой байесовской структуре?»

Я просто неописуемо рад, что вы задали этот вопрос, потому что я всё равно планировал рассказать вам об этом, хотите вы того или нет. Но сначала еще пара предварительных замечаний.

Вы помните — да, вы точно помните, — что между взаимной информацией и байесовским свидетельством существует дуальность. Взаимная информация положительна тогда и только тогда, когда вероятность по крайней мере некоторых совместных событий P(x,y) не равна произведению вероятностей отдельных событий P(x)P(y). Это, в свою очередь, в точности эквивалентно условию того, что между x и y существует байесовское свидетельство:

I(X;Y) > 0 ⇒

P(x,y) ≠ P(x)P(y)

P(x,y) / P(y) ≠ P(x)

P(x|y) ≠ P(x).

Если вы вводите условие Z, вы просто соответствующим образом корректируете весь вывод:

I(X;Y|Z) > 0 ⇒

P(x,y|z) ≠ P(x|z)P(y|z)

P(x,y|z) / P(y|z) ≠ P (x|z)

(P(x,y,z)/P(z)) / (P(y,z)/P(z)) ≠ P(x|z)

P(x,y,z) / P(y,z) ≠ P(x|z)

P(x|y,z) ≠ P(x|z).

Последняя строка читается так: «Даже зная Z, получение информации о Y всё равно меняет наши убеждения относительно X».

И наоборот, как и в нашем исходном примере, где Z означало «чётное» или «нечётное», Z экранирует X от Y — то есть, если мы знаем, что Z — «чётное», то знание о том, что Y находится в состоянии Y4, не сообщает нам никаких новых сведений о том, является ли X значением X2, X4, X6 или X8. Или если мы знаем, что Z — «нечётное», то знание о том, что X равен X5, не сообщает нам никаких новых сведений о том, равен ли Y значению Y1 или Y3. Знание Z сделало X и Y условно независимыми.

Условная независимость — чрезвычайно важное понятие в теории вероятностей. Приведём лишь один пример: без условной независимости у Вселенной не было бы никакой структуры.

Здесь, однако, я намерен поговорить лишь об одном конкретном виде условной независимости — о случае центральной переменной, которая экранирует окружающие её другие переменные, подобно центральному телу с щупальцами.

Пусть имеются пять переменных: U, V, W, X и Y; и, кроме того, предположим, что для любой пары этих переменных значение одной служит свидетельством о другой. Если вы выберете, например, U и W, то знание того, что U = U1, сообщит вам нечто новое о вероятности того, что W = W1.

Неуправляемый хаос умозаключений? Свидетельства, вышедшие из-под контроля? Не обязательно.

Возможно, U — это «говорит на каком-то языке», V — «две руки и десять пальцев», W — «носит одежду», X — «уязвим к яду болиголова», а Y — «красная кровь». И вот, если вы столкнётесь с неким объектом в мире (который может оказаться яблоком, а может — камнем) и узнаете, что этот объект говорит по-китайски, вы, скорее всего, оцените вероятность того, что он носит одежду, как гораздо более высокую; а если вы узнаете, что этот объект нечувствителен к яду болиголова, вы оцените вероятность наличия у него красной крови как несколько меньшую.

Конечно, некоторые из этих правил сильнее других. Есть случай с Фредом, у которого не хватает пальца из-за несчастного случая на вулкане; случай с младенцем Барни, который пока не умеет говорить; и случай с IRC-ботом Ирвингом, который выдаёт фразы, но не имеет крови. Так что если мы узнаем, что некий объект не носит одежды, это не экранирует всё то, что его способность говорить может сообщить нам