Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

забрасывают свое искусство и пытаются поверить во что-то без свидетельств — «всего один разок», они часто возводят огромные конструкции из оправданий, запутывая себя ровно настолько, чтобы скрыть магические шаги.

Та еще морока — точно определить, где именно происходит магия: структура их аргументов извивается и ускользает, стоит лишь начать расспросы. Но всегда находится шаг, на котором крошечная вероятность превращается в высокую, где они пытаются верить без свидетельств, где они шагают в неизвестность с мыслью: «Никто не докажет, что я неправ».

Их нога, естественно, наступает на пустоту, ведь в царстве Возможности пустоты гораздо больше, чем твердой почвы. Ах, но в Возможности есть (экспоненциально малый) клочок почвы, и у вас действительно есть (экспоненциально малая) вероятность случайно на него наступить, так что, может быть, на этот раз ваша нога всё-таки опустится в нужном месте! Ведь это всего лишь вероятность, а значит, она должна быть всего лишь рекомендацией.

Точное состояние стакана кипятка может быть вам неизвестно — более того, именно ваше незнание его точного состояния превращает кинетическую энергию молекул в «тепло», а не в работу, готовую к извлечению (как импульс вращающегося маховика). Так что вода могла бы охладить вашу руку вместо того, чтобы нагреть её, с вероятностью близкой к нулю (~0).

Решите проигнорировать законы термодинамики и всё равно суньте туда руку — и вы обожжетесь.

— Но вы этого не знаете!

Я не знаю этого со всей определенностью, но я обязан ожидать, что это произойдет. Вероятности не являются логическими истинами, но законы вероятности ими являются.

— Но что, если я угадаю состояние кипящей воды, и угадаю правильно?

Ваш шанс случайно угадать правильно еще меньше, чем шанс того, что кипящая вода случайно охладит вашу руку.

— Но вы же не можете доказать, что я не угадаю.

Я могу (и даже обязан) приписать этому крайне низкую вероятность.

— Но ведь это не то же самое, что уверенность.

Что ж, может быть, если вы добавите в свои рассуждения достаточно колес и шестеренок, они превратят теплую воду в электричество и кубики льда! Или, точнее, вы просто перестанете понимать, почему этого не может быть.

— Вот именно! Я не вижу, почему этого не может быть! Так что, может, так оно и есть!

Еще одна шестеренка? Это лишь сделает вашу машину еще менее эффективной. Она и до этого не была вечным двигателем, а каждая дополнительная шестеренка делает её КПД еще ниже.

Каждая дополнительная деталь в вашем рассуждении неизбежно снижает совместную вероятность. Вероятность того, что вы нарушили второе начало термодинамики, сами не зная как — угадав точное состояние кипящей воды без каких-либо свидетельств, чтобы вы могли засунуть туда палец и не обжечься, — с необходимостью еще ниже, чем вероятность просто засунуть палец в кипяток и не обжечься.

Я говорю всё это потому, что люди действительно возводят эти гигантские конструкции из аргументов в попытках верить без свидетельств. Нужно научиться видеть в этом аналогию со всеми теми колесами и шестеренками, которые тот парень навесил на свой безопорный двигатель, пока наконец не накопил достаточно сложностей, чтобы допустить ошибку в таблице Excel.

*

188. Поиск байесовской структуры.

Гномьи горнила не должны работать. Сама их конструкция, кажется, противоречит законам тауматургии. На самом деле они невозможны. Как и большинство творений гномьего разума, они снабжены кучей всяких свистелок и погремушек при полном отсутствии содержания. В тех, что всё-таки работают, обычно спрятано малое горнило — тщательно замаскированное, чтобы казаться безобидным и несущественным.

— Из описания сеттинга Spelljammer

Мы уже видели, что знание подразумевает взаимную информацию между разумом и окружающей средой, и мы видели, что эта взаимная информация является негэнтропией в самом что ни на есть физическом смысле: если вы знаете, где находятся молекулы и насколько быстро они движутся, вы можете превратить тепло в работу с помощью демона Максвелла или двигателя Силарда.

Мы видели, что формирование истинных убеждений в отсутствие свидетельств — это невероятность того же порядка, что и спонтанное разделение стакана горячей воды на кубики льда и электричество. Рациональность требует «работы» в термодинамическом смысле, а не просто ментальных усилий; разум должен излучать тепло, если только его эффективность не идеальна. Эта когнитивная работа управляется теорией вероятностей, частным случаем которой является термодинамика. (Статистическая механика — частный случай статистики.)

Если бы вы увидели машину, которая непрерывно вращает колесо, явно не будучи подключенной к розетке или любому другому источнику энергии, вы стали бы искать скрытую батарею или находящийся поблизости беспроводной источник питания — что-то, что объясняло бы совершаемую работу, не нарушая законов физики.

Поэтому если разум приходит к истинным убеждениям — и мы предполагаем, что второй закон термодинамики при этом не нарушается, — этот разум должен совершать нечто хотя бы смутно байесовское (по крайней мере, где-то должен идти хотя бы один процесс с чем-то вроде байесовской структуры), иначе он просто не мог бы работать.

В самом начале, в момент времени T = 0, разум не имеет взаимной информации с подсистемой S в своей окружающей среде. В момент времени T = 1 разум имеет 10 бит взаимной информации с S. Где-то в промежутке разум должен был столкнуться со свидетельством — в байесовском понимании свидетельства, поскольку любое байесовское свидетельство есть взаимная информация, а любая взаимная информация есть байесовское свидетельство (это просто два разных взгляда на одно и то же), — и обработать по крайней мере часть этого свидетельства (пусть даже неэффективно), хотя бы в некоторых случаях направив процесс в верную, с точки зрения теоремы Байеса, сторону. Разум должен был хоть немного двигаться в гармонии с Байесом на этом пути — либо же нарушить второй закон термодинамики, создав взаимную информацию из ничего.

На самом деле любая часть когнитивного процесса, которая вносит полезный вклад в поиск истины, должна иметь хотя бы немного байесовской структуры — должна в той или иной точке гармонировать с Байесом, должна частично соответствовать байесовскому потоку, пусть даже с кучей шума и под маской бесчисленных свистелок и погремушек, — даже если эта байесовская структура заметна только в контексте окружающих процессов. Иначе она не смогла бы даже помочь.

Как только философы не размышляли над природой слов! Сколько чернил было пролито на истинные определения слов, на истинное значение определений и на истинный смысл самого смысла! Какие нагромождения шестерёнок и колёс