Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

С неба бьёт огромная молния и во что-то попадает, и древние скандинавы говорят: «Возможно, какой-то очень могущественный субъект разозлился и метнул молнию». Человеческий мозг — это самый сложный объект в известной нам Вселенной. Если гнев кажется простым, то лишь потому, что мы не видим всю цепочку нейронов, реализующую эту эмоцию. (Попробуйте объяснить, почему смешно шоу «Субботним вечером в прямом эфире», инопланетянам, у которых нет чувства юмора. Но не зазнавайтесь: у вас самих нет чувства фнорда.) Сложность гнева — да и вообще сложность разума — была попросту проигнорирована людьми, которые придумали гипотезу о Торе, божественном громовержце.

Человеку требуется гораздо больше времени, чтобы объяснить уравнения Максвелла, чем объяснить Тора. У людей нет врождённого словаря для математического анализа, подобного нашему врождённому словарю для гнева. Прежде чем подступиться к электричеству, вам придётся объяснить свой язык, и язык, который стоит за этим языком, и саму концепцию математики.

И всё же интуитивно кажется, что в каком-то смысле уравнения Максвелла должны быть проще, чем человеческий мозг или бог-громовержец Тор.

Так и есть. Написать компьютерную программу, моделирующую уравнения Максвелла, (как выясняется) несопоставимо проще, чем программу, моделирующую разумную, эмоциональную личность вроде Тора.

Формализм индукции Соломонова измеряет «сложность описания» длиной кратчайшей компьютерной программы, которая выдаёт это описание на выходе. Чтобы говорить о «кратчайшей компьютерной программе», выполняющей некую задачу, нужно задать пространство компьютерных программ, для чего требуются язык и интерпретатор. Индукция Соломонова использует машины Тьюринга, точнее, битовые строки, задающие машины Тьюринга. Что делать, если вам не нравятся машины Тьюринга? В таком случае вам грозит лишь константный штраф за сложность при разработке собственной универсальной машины Тьюринга, которая будет интерпретировать любой код на любом угодном вам языке программирования. Различные индуктивные формализмы штрафуют друг друга в худшем случае на некоторый константный множитель, соответствующий размеру универсального интерпретатора для этого формализма.

В лучших (по моему скромному мнению) версиях индукции Соломонова компьютерная программа выдаёт не детерминированное предсказание, а присваивает вероятности различным строкам. Например, мы могли бы описать честную монетку программой, которая присваивает равные вероятности всем 2N строкам длины N. Так в индукции Соломонова решается вопрос соответствия наблюдаемым данным. Чем более высокую вероятность программа приписывает наблюдаемым данным, тем лучше эта программа соответствует им. А поскольку сумма вероятностей должна быть равна 1, то, чтобы лучше «соответствовать» одному варианту, программа должна забрать вероятностную массу у другого варианта, который в результате будет «соответствовать» её предсказаниям гораздо хуже. Не существует никакой «суперчестной» монетки, которая давала бы 100%-ю вероятность и орлу, и решке.

Как соблюсти баланс между соответствием данным и сложностью программы? Если игнорировать штрафы за сложность и думать только о соответствии, вы всегда будете отдавать предпочтение программам, которые якобы детерминированно предсказывают данные, присваивая им 100%-ю вероятность. Если монета выдаёт ОРРООР, то программа, утверждающая, что монета была подстроена именно под результат ОРРООР, соответствует наблюдаемым данным в 64 раза лучше, чем программа, утверждающая, что монета честная. Напротив, если вы проигнорируете соответствие и будете учитывать только сложность, то гипотеза «честной монеты» всегда будет казаться проще любой другой. Даже если выпадет ОРООРОООРООООРООООООР... Действительно, честная монета действительно проще, и она соответствует этим данным точно так же хорошо, как и любой другой строке из 20 бросков — ни больше ни меньше, — но мы видим другую гипотезу, которая кажется не слишком сложной и при этом соответствует данным гораздо лучше.

Если позволить программе хранить на один двоичный бит информации больше, она сможет сократить пространство возможностей вдвое и, следовательно, присвоить вдвое большую вероятность всем точкам в оставшемся пространстве. Отсюда следует, что один бит сложности программы должен окупаться как минимум «двукратным выигрышем» в соответствии. Если вы попытаетесь создать компьютерную программу, которая явно хранит такой результат, как ОРРООР, то шесть бит, которые вы потеряете в сложности, должны полностью уничтожить всю правдоподобность, полученную за счёт 64-кратного улучшения соответствия. Иначе вы рано или поздно решите, что все честные монеты подстроены.

Если только ваша программа не поступает умно и не сжимает данные, простой перенос одного бита из данных в описание программы не должен приносить никакой выгоды.

Индукция Соломонова для предсказания последовательностей работает так: вы суммируете по всем допустимым компьютерным программам — если допустима абсолютно любая программа, индукция Соломонова становится невычислимой, — при этом априорная вероятность каждой программы равна (1/2) в степени длины её кода в битах, а также каждая программа дополнительно взвешивается по её соответствию всем наблюдаемым к данному моменту данным. Это даёт вам взвешенную смесь экспертов, которая способна предсказывать будущие биты.

Формализм минимальной длины сообщения почти эквивалентен индукции Соломоноффа. Вы отправляете строку, описывающую код, а затем отправляете строку, описывающую данные в этом коде. Лучшим является то объяснение, которое приводит к кратчайшему суммарному сообщению. Если представить множество допустимых кодов как пространство компьютерных программ, а язык описания кода — как универсальную машину, то минимальная длина сообщения почти эквивалентна индукции Соломонова. (Почти — потому что она выбирает кратчайшую программу вместо того, чтобы суммировать по всем программам.)

Это позволяет ясно увидеть проблему с использованием объяснения «Дама с соседней улицы — ведьма; она это сделала» для объяснения закономерности в последовательности 0101010101. Если вы отправляете другу сообщение, пытаясь описать наблюдаемую последовательность, вам придётся сказать: «Дама с соседней улицы — ведьма; она сделала так, чтобы получилась последовательность 0101010101». Ваше обвинение в колдовстве не позволит вам сократить оставшуюся часть сообщения; вам всё равно придётся во всех подробностях описывать данные, которые породило её ведовство.

Колдовство может соответствовать нашим наблюдениям в том смысле, что оно качественно их допускает, но это происходит лишь потому, что колдовство допускает всё — прямо как слово «Флогистон!». Поэтому даже после того, как вы скажете «ведьма», вам всё равно придётся подробно описывать все наблюдаемые данные. Передав сообщение о колдовстве, вы никак не сжали общую длину сообщения с описанием ваших наблюдений; вы просто добавили бесполезный пролог, увеличив эту общую длину.

Настоящая хитрость скрывалась в слове «это» во фразе «Ведьма это сделала». Ведьма сделала что?

Разумеется, благодаря ошибке послезнания, якорению, фиктивным объяснениям, фиктивной причинности, позитивной предвзятости и мотивированному мышлению может показаться совершенно очевидным, что если женщина — ведьма, то, конечно же, она заставит монету выпасть как 0101010101. Но к этому я вернусь уже совсем скоро...

*

26. Ваша сила как рационалиста.