Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

P(Z1Y2) > P(Z1)P(Y2)

P(Z1Y2)/P(Y2) > P(Z1)

P(Z1|Y2) > P(Z1).

Поскольку вероятность P(Z1Y2) «необычайно высока» — то есть выше, чем по умолчанию следовало бы из маргинальных вероятностей, — отсюда следует, что наблюдение Y2 является свидетельством, повышающим вероятность Z1. И, в силу симметрии, наблюдение Z1 должно свидетельствовать в пользу Y2.

Поскольку существуют хотя бы некоторые значения Y, которые говорят нам о Z (и наоборот), между этими двумя переменными должна существовать взаимная информация; и поэтому вы обнаружите — я уверен в этом, хотя на самом деле не проверял, — что вычисление энтропии (Y,Z) дает меньшую общую неопределенность, чем сумма независимых энтропий Y и Z. То есть H(Y,Z) = H(Y) + H(Z) - I(Y;Z), где все величины обязательно положительны.

(Здесь я позволю себе отвлечься и заметить, что симметрия выражения для взаимной информации показывает, что Y должен говорить нам о Z в среднем столько же, сколько Z говорит нам о Y. Я оставляю читателю в качестве упражнения примирить это со всем, чему его учили на уроках логики: о том, как если все вороны черные, то разрешение рассуждать как Ворон(x) ⇒ Черный(x) не означает, что вам разрешено рассуждать как Черный(x) ⇒ Ворон(x). Какими же разными кажутся симметричные вероятностные потоки байесианства и резкие рывки логики — хотя последняя является лишь вырожденным случаем первых.)

«Но, — спросите вы, — какое отношение все это имеет к правильному использованию слов?»

В эссе «Пустые ярлыки», а затем в «Замените символ сутью» мы рассматривали прием замены слова его определением на следующем примере:

Все [смертные, ¬перья, двуногие] смертны.

Сократ — [смертный, ¬перья, двуногий].

Следовательно, Сократ смертен.

Зачем тогда вообще нужно слово «человек»? Почему бы просто не сказать: «Сократ — смертное двуногое без перьев»?

Потому что полезно иметь более короткие слова для вещей, с которыми вы часто сталкиваетесь. Если ваш код для описания отдельных свойств уже эффективен, то в специальном слове для их конъюнкции — вроде «человек» вместо «смертное двуногое без перьев» — не будет никакого преимущества, если только существа, которые одновременно смертны и лишены перьев и двуноги, не встречаются чаще, чем можно было бы ожидать, исходя из маргинальных вероятностей.

В эффективных кодах длина слова соответствует вероятности — поэтому код для Z1Y2 будет такой же длины, как код для Z1 плюс код для Y2, если только не P(Z1Y2) > P(Z1)P(Y2); в таком случае код для целого слова может быть короче, чем коды его частей.

А это, в свою очередь, в точности соответствует случаю, когда мы можем сделать вывод о некоторых свойствах объекта, наблюдая другие его свойства. Вероятность того, что двуногие существа без перьев также окажутся смертными, должна быть выше, чем по умолчанию.

Конечно, слово «человек» на самом деле описывает гораздо, гораздо больше свойств: когда вы видите человекоподобное существо, которое разговаривает и носит одежду, вы можете сделать вывод о массе биохимических, анатомических и когнитивных фактов о нем. Если бы мы заменили слово «человек» описанием всего, что мы знаем о людях, нам пришлось бы тратить на разговоры непомерно много времени. Но это верно только потому, что говорящее двуногое без перьев с гораздо большей вероятностью, чем по умолчанию, может быть отравлено болиголовом, иметь плоские ногти или страдать от излишней самоуверенности.

Использование отдельного слова для вещи вместо перечисления всех ее свойств оказывается более компактным кодом именно в тех случаях, когда мы можем вывести одни свойства из других. (За исключением, возможно, самых примитивных слов вроде «красный», которые мы используем для передачи полностью несжатого описания нашего чувственного опыта. Но к тому времени, когда вы сталкиваетесь с жуком или даже с камнем, вы уже имеете дело со сложными наборами свойств, находящимися далеко за пределами этого примитивного уровня.)

Таким образом, иметь слово «виггин» для обозначения зеленоглазых черноволосых людей полезнее, чем просто говорить «зеленоглазый черноволосый человек», именно тогда, когда:

У зеленоглазых людей вероятность оказаться черноволосыми выше средней (и наоборот), что означает, что мы можем с некоторой вероятностью вывести наличие зеленых глаз по черным волосам, и наоборот; или

Виггины обладают другими общими свойствами, которые можно вывести с вероятностью выше, чем по умолчанию. В этом случае нам приходится отдельно наблюдать зеленые глаза и черные волосы; но затем, независимо обнаружив оба этих свойства, мы можем вероятностным образом вывести другие свойства (например, любовь к кетчупу).

Можно даже рассматривать акт определения слова как обещание, что это действительно так. Когда вы говорите кому-то: «Я определяю слово „виггин“ как человека с зелеными глазами и черными волосами», вы, в силу грайсовской импликатуры, тем самым утверждаете, что слово «виггин» как-то поможет вам делать выводы или сократить ваши сообщения.

Если вероятность встретить зеленые глаза и черные волосы вместе не выше, чем по умолчанию, и никакое другое свойство не сопутствует им с вероятностью выше, чем по умолчанию, тогда слово «виггин» — это ложь: оно заявляет, что этих людей стоит выделять в отдельную группу, хотя это не так.

В этом случае слово «виггин» не помогает описывать реальность более компактно — оно не возникло бы при попытке отправить максимально короткое сообщение, — оно не играет никакой роли в простейшем объяснении. Точно так же слово «виггин» ничем не поможет вам при байесовском выводе. Даже если вы не назовете это слово ложью, это, несомненно, ошибка.

И способ разделять реальность по её сочленениям состоит в том, чтобы проводить границы вокруг скоплений необычайно высокой плотности вероятности в Пространстве Вещей.

*

176. Сверхэкспоненциальное пространство концептов и простые слова.

Пространство вещей — штука, пожалуй, огромная. Оно гораздо больше, чем реальность: ведь если реальность содержит лишь то, что действительно существует, то Пространство вещей вмещает в себя всё, что могло бы существовать.

Собственно, из-за того, как именно я «определил» Пространство вещей — задав ему измерения под каждое возможное свойство, включая коррелирующие признаки вроде плотности, объема и массы, — оно, пожалуй, определено слишком плохо, чтобы обладать хоть чем-то, что можно назвать размером. Но научиться визуализировать Пространство вещей важно в любом случае. Очевидно, никто не сможет по-настоящему понять стаю воробьев, если будет видеть в ней лишь облако галдящих и хлопающих крыльями существ, а не скопление точек в Пространстве вещей.

Но каким бы огромным