Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Когда я был еще маленьким мальчиком, мой отец, физик с докторской степенью, строго предупредил меня, чтобы я не совался в дела физиков; он говорил, что пытаться понять физику без формального математического аппарата — дело безнадежное. И точка. Никаких лазеек. Но в научно-популярных книгах Фейнмана я прочел, что если ты действительно понимаешь физику, то должен быть в состоянии объяснить ее неспециалисту. Я поверил Фейнману, а не отцу, потому что Фейнман получил Нобелевскую премию, а мой отец — нет.

Лишь позже — собственно, когда я читал «Фейнмановские лекции» — я понял, что отец открыл мне простую и чистую правду. Нет математики — нет физики.

По призванию я байесианец, а не физик. И хотя меня воспитывали в убеждении, что в дела физиков соваться не стоит, меня вынудило к этому периодическое грубое злоупотребление тремя понятиями: «простой», «фальсифицируемый» и «проверяемый».

Предыдущее вступление нужно для того, чтобы вы не рассмеялись и не сказали: «Конечно же, я знаю, что значат эти слова!» Здесь есть математика. То, что последует далее, будет изложением идей из эссе «Вера в подразумеваемое невидимое» в их применении к квантовой физике.

Начнем с замечания, которое и вывело меня на этот путь; я встречал его в нескольких версиях, и в вольном пересказе оно звучит так:

Многомировая интерпретация квантовой механики постулирует существование огромного множества других миров, существующих параллельно с нашим. Бритва Оккама гласит, что мы не должны множить сущности без необходимости.

Справедливости ради стоит отметить, что те, кто так утверждает, обычно признают:

Но это не общепринятое применение Бритвы Оккама; некоторые говорят, что Бритва Оккама должна применяться к законам, управляющим моделью, а не к числу объектов внутри нее.

Так что это здорово, что мы все признаем противоположные аргументы и выслушиваем обе стороны —

Но предположим, что вам нужно вычислить простоту теории.

Оригинальная формулировка Уильяма Оккама гласила:

Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.

«Закон экономии: сущности не следует множить без необходимости».

Но это качественное соображение. Недостаточно сказать, кажется ли одна теория проще или сложнее другой — нужно присвоить число; и это число должно иметь смысл, его нельзя просто выдумать. Преодоление этого разрыва подобно переходу от способности определять на глаз, какие вещи движутся «быстро», а какие «медленно», к измерению и вычислению скоростей.

Предположим, вы попытаетесь сказать: «Посчитайте слова — вот насколько сложна теория».

Роберт Хайнлайн однажды заявил (надеюсь, в шутку), что «самое простое объяснение» — всегда такое: «Женщина в конце улицы — ведьма; это она сделала». Одиннадцать слов — мало какая статья по физике побьет этот рекорд.

Столкнувшись с этой проблемой, можно пойти двумя путями.

Во-первых, можно спросить: «Женщина в конце улицы — кто?» То, что в языке есть одно слово для обозначения какого-то понятия, еще не значит, что само это понятие простое. Представьте, что вы разговариваете с инопланетянами, которые ничего не знают ни о ведьмах, ни о женщинах, ни об улицах. Сколько времени уйдет у вас на то, чтобы объяснить им вашу теорию? А еще лучше: представьте, что вам нужно написать компьютерную программу, которая воплощает вашу гипотезу и выдает то, что вы называете предсказаниями вашей гипотезы, — какого размера должна быть эта программа? Допустим, ваша задача — предсказать временной ряд измеренных положений камня, катящегося с холма. Если вы напишете подпрограмму, моделирующую ведьм, это вряд ли поможет точнее определить, куда покатится камень, — лишняя подпрограмма лишь раздует ваш код. С другой стороны, вы можете обнаружить, что ваш код обязательно должен содержать подпрограмму для возведения чисел в квадрат.

Во-вторых, можно спросить: «Женщина в конце улицы — ведьма; она сделала что?» Представьте, что вы хотите описать некое событие настолько точно, насколько это возможно при имеющихся у вас данных, — опять же, допустим, временной ряд расстояний для катящегося с холма камня. Вы можете начать свое объяснение со слов «Женщина в конце улицы — ведьма», но ваш друг спросит: «И что же она сделала?», а вы ответите: «Она сделала так, что камень укатился на один метр за первую секунду, на девять метров за третью секунду...» Добавление фразы «Женщина в конце улицы — ведьма» в начало вашего сообщения никак не помогает сжать остальную часть описания. В итоге вы просто отправляете более длинное сообщение, чем нужно, — логичнее было бы просто отбросить вступление про «ведьму». С другой стороны, если вы потратите немного времени на рассказ о Галилее, вы сможете значительно сжать следующие пять тысяч подробных временных рядов для катящихся с холмов камней.

Если вы пойдете первым путем, то придете к тому, что называется колмогоровской сложностью и соломоновской индукцией. Если пойдете вторым путем — придете к принципу минимальной длины описания.

Ага, значит, я могу выбирать определение простоты на свой вкус?

Нет, на самом деле эквивалентность этих двух формализмов в их наиболее развитых формах была доказана.

И теперь, надо полагать, вы собираетесь сказать мне, что оба формализма сходятся на том, что «Оккам велит считать законы, а не объекты».

Более-менее так. В принципе минимальной длины описания, пока вы можете дать другу точный рецепт, которому тот может мысленно следовать для получения временного ряда катящегося камня, нас не волнует, сколько умственных усилий потребуется для выполнения этого рецепта. В соломоновской индукции мы считаем биты в программном коде, а не биты оперативной памяти, используемые программой во время работы. «Сущности» здесь — это строки кода, а не моделируемые объекты. И, как уже было сказано, в конечном счете эти два формализма эквивалентны.

Но прежде чем я перейду к более подробному разбору формальной простоты, позвольте мне отвлечься и рассмотреть возражение:

И что с того? Почему я не могу просто изобрести свой собственный формализм, который работает иначе? С какой стати мне вообще обращать внимание на то, как вы там у себя в области решили вести дела? Есть ли у вас какие-нибудь экспериментальные доказательства того, что я должен поступать именно так?

Да, вообще-то есть, хотите верьте, хотите нет. Но позвольте мне начать с самого начала.

Правило конъюнкции в теории вероятностей гласит:

P(X,Y) ≤ P(X).

Для любых утверждений X и Y вероятность того, что «истинно X и истинно Y», меньше или равна вероятности того, что «истинно X (вне зависимости от того, истинно ли Y)». (Если это утверждение кажется вам не слишком глубокомысленным, уверяю вас: легко найти случаи, когда люди, оценивающие вероятности, нарушают это правило.)

Обычно вы не можете