Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Что вообще значит «задать одну и три четверти вопроса»? Представьте, что мы обозначим состояния Y с помощью следующего кода:

Y1 : 1

Y2 : 01

Y3 : 001

Y4 : 000.

Сначала вы спрашиваете: «Первый символ — единица?» Если ответ «да», вы закончили: Y находится в состоянии 1. Это происходит в половине случаев, так что в 50% случаев требуется всего 1 вопрос с ответами «да/нет», чтобы выяснить состояние Y.

Предположим, однако, что ответ «нет». Тогда вы спрашиваете: «Второй символ — единица?» Если ответ «да», вы закончили: Y находится в состоянии 2. Система Y находится в состоянии 2 с вероятностью 1/4, и каждый раз, когда Y находится в состоянии 2, мы узнаём об этом с помощью двух вопросов «да/нет», так что в 25% случаев для выяснения состояния Y требуется 2 вопроса.

Если вы два раза подряд получаете ответ «нет», вы спрашиваете: «Третий символ — единица?» Если «да», то всё готово и Y находится в состоянии 3; если «нет», то готово и Y находится в состоянии 4. В 1/8 случаев, когда Y находится в состоянии 3, требуется три вопроса; и в 1/8 случаев, когда Y находится в состоянии 4, требуется тоже три вопроса.

(1/2 × 1) + (1/4 × 2) + (1/8 × 3) + (1/8 × 3)

= 0,5 + 0,5 + 0,375 + 0,375

= 1,75.

Общая формула энтропии H(S) системы S представляет собой сумму по всем Si значений -P(Si)log2(P(Si)).

Например, двоичный логарифм 1/8 равен -3. Таким образом, -(1∕8 × -3) = 0,375 — это вклад состояния S4 в общую энтропию: в 1/8 случаев нам приходится задавать 3 вопроса.

Не всегда удаётся разработать идеальный код для системы, но если вам нужно сообщить кому-то состояние сколь угодно большого числа копий S в одном сообщении, вы можете сколь угодно близко подойти к идеальному коду. (Погуглите «арифметическое кодирование» — это простой метод.)

Вы можете спросить: «Почему бы не использовать код 10 для Y4 вместо 000? Разве это не позволило бы передавать сообщения быстрее?»

Но если вы используете код 10 для Y4, то, когда кто-то ответит «да» на вопрос «Первый символ — единица?», вы ещё не будете знать, является ли состояние системы Y1 (1) или Y4 (10). На самом деле, если вы измените код таким образом, вся система развалится, потому что, услышав «1001», вы не поймёте, означает ли это «Y4, а затем Y2» или «Y1, а затем Y3».

Мораль в том, что короткие слова — это сохраняющийся ресурс.

Ключ к созданию хорошего кода — кода, передающего сообщения максимально компактно, — заключается в том, чтобы резервировать короткие слова для того, о чём приходится говорить часто, и использовать более длинные слова для того, что требуется говорить реже.

Если довести это искусство до предела, длина сообщения, необходимого для описания чего-либо, будет точно или почти точно соответствовать его вероятности. Это формализация бритвы Оккама через принцип минимальной длины описания (Minimum Description Length) или минимальной длины сообщения (Minimum Message Length).

И потому даже обозначения, которые мы используем для слов, не вполне произвольны. Звуки, которые мы связываем с нашими концептами, могут быть лучше или хуже, разумнее или глупее. Даже без учёта общепринятого употребления!

Я говорю всё это потому, что идея «можно делать X как угодно» — огромное препятствие для того, чтобы научиться делать X с умом. Установка «У нас свободная страна, я имею право на собственное мнение» мешает искусству поиска истины. Установка «Я могу определять слова как захочу» мешает искусству разделения реальности по её суставам. И даже кажущееся разумным утверждение «Обозначения, которые мы даем словам, произвольны» мешает осознанию компактности. Сюда же относится и просодия — Толкин как-то заметил, как красиво звучит словосочетание «cellar door» (дверь в подвал); именно такое чутьё требуется, чтобы владеть языком так, как владел им Толкин.

Длина слов также играет нетривиальную роль в когнитивной лингвистике:

Рассмотрим слова «кресло с откидной спинкой», «стул» и «мебель». Кресло с откидной спинкой — более специфическая категория, чем стул; мебель — более общая категория, чем стул. Но у подавляющего большинства стульев есть общая функция: вы совершаете одинаковые двигательные действия, чтобы сесть на них, и садитесь на них с одинаковой целью (дать ногам отдохнуть, пока вы едите, читаете, печатаете или отдыхаете). Кресла с откидной спинкой не выбиваются из этого ряда. «Мебель» же, с другой стороны, включает такие вещи, как кровати и столы, которые используются иначе и требуют иных моторных функций, чем стулья.

В терминологии когнитивной психологии «стул» — это категория базового уровня.

Люди склонны говорить и, по-видимому, думать на базовом уровне категоризации — очерчивать границу вокруг «стульев», а не вокруг более частной категории «кресел с откидной спинкой» или более общей категории «мебели». Люди скорее скажут «Ты можешь сесть на этот стул», чем «Ты можешь сесть в это кресло с откидной спинкой» или «Ты можешь сесть на эту мебель».

И вовсе не случайно, что слово «стул» содержит меньше слогов, чем «кресло с откидной спинкой» или «мебель». Как правило, категории базового уровня имеют короткие названия, а существительные с короткими названиями обычно указывают на категории базового уровня. Разумеется, это правило не абсолютно, но тенденция вполне определенная. Частое употребление идет рука об руку с короткими словами, а короткие слова — с частым употреблением.

Или, как выразился Дуглас Хофштадтер, есть причина, по которой в английском языке слово «the» используется для обозначения «the», а «antidisestablishmentarianism» — для обозначения «antidisestablishmentarianism», , а не наоборот.

*

175. Взаимная информация и плотность в пространстве вещей.

Предположим, у вас есть система X, которая может находиться в любом из 8 состояний, причем все они равновероятны (исходя из вашего текущего уровня знаний), и система Y, которая может находиться в любом из 4 состояний, также равновероятных.

Энтропия X, согласно определению из предыдущего эссе, составляет 3 бита; нам понадобится задать 3 вопроса с ответами «да/нет», чтобы узнать точное состояние X. Энтропия Y составляет 2 бита; чтобы узнать точное состояние Y, нам нужно задать 2 вопроса «да/нет». Это может показаться очевидным, поскольку 23 = 8 и 22 =