Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если рассмотреть шенноновскую энтропию нашей неопределенности относительно X и Y как отдельных систем, то вначале у X было 0 бит энтропии, поскольку у нее было одно определенное состояние, а у Y было 2 бита энтропии, так как она с равной вероятностью могла находиться в любом из 4 возможных состояний. (Взаимная информация между X и Y отсутствует.) Произошел акт физического взаимодействия, и — о чудо! — энтропия Y снизилась до 0, но энтропия X возросла до log2(7) = 2,8 бита. Таким образом, энтропия перетекла из одной системы в другую и уменьшилась внутри подсистемы Y; однако из-за сложности учета мы не стали отслеживать часть информации, и следовательно (с нашей точки зрения), общая энтропия увеличилась.

Предположим, существовал физический процесс, который отображал прошлые состояния на будущие следующим образом:

X2Y1 → X2Y1

X2Y2 → X2Y1

X2Y3 → X2Y1

X2Y4 → X2Y1.

Тогда мы получили бы физический процесс, который действительно уменьшал бы энтропию, поскольку независимо от начальной точки вы в итоге пришли бы к одному и тому же результату. Законы физики, развиваясь во времени, сжали бы фазовое пространство.

Но существует теорема, теорема Лиувилля, справедливость которой доказуема для наших законов физики. Она гласит, что такого никогда не происходит: объем фазового пространства сохраняется.

Второй закон термодинамики — это следствие из теоремы Лиувилля: какой бы хитрой ни была ваша конфигурация колес и шестеренок, вы никогда не сможете уменьшить энтропию в одной подсистеме, не увеличив ее где-то еще. Когда фазовое пространство одной подсистемы сужается, фазовое пространство другой подсистемы должно расшириться, и совместное пространство сохраняет прежний объем.

Разве что изначально компактное фазовое пространство может покрыться изгибами, завитками и складками; так что для того, чтобы очертить всю эту неразбериху простой границей, вам придется провести гораздо большую границу, чем раньше — это и создает видимость возрастания энтропии. (А в квантовых системах, где разные вселенные расходятся по разным путям, энтропия действительно возрастает в любой локальной вселенной. Но пока отложим это усложнение.)

Второй закон термодинамики на самом деле носит вероятностный характер — если спросить о вероятности того, что горячая вода спонтанно перейдет в состояние «холодная вода и электричество», то такая вероятность действительно существует, просто она крайне мала. Это не означает, что теорема Лиувилля нарушается с малой вероятностью; в конце концов, теорема есть теорема. Это означает, что если на старте вы находитесь в огромном объеме фазового пространства, но не знаете где, вы можете оценить как ничтожно малую вероятность того, что окажетесь в каком-то конкретном объеме фазового пространства. Насколько вам известно, с бесконечно малой вероятностью этот конкретный стакан горячей воды может оказаться именно тем, который спонтанно превратится в электрический ток и кубики льда. (Пренебрегая, как обычно, квантовыми эффектами.)

Так что Второй закон действительно является по своей сути байесовским. Когда дело доходит до любой реальной термодинамической системы, он представляет собой строгое и закономерное описание ваших убеждений относительно системы, но лишь вероятностное утверждение о самой системе.

«Погодите, — скажете вы. — В курсе физики меня учили другому. На лекциях, которые я слушал, термодинамика посвящена, ну, знаете, температурам. Неопределенность — это субъективное состояние ума! Температура стакана воды — объективное свойство этой воды! Какое отношение тепло имеет к вероятности?»

О вы, в ком мало доверия.

В одном направлении связь между теплом и вероятностью относительно проста: если единственный факт, который вы знаете о стакане воды, — это его температура, то в случае с горячей водой ваша неопределенность гораздо выше, чем в случае с холодной.

Тепло — это хаотичное движение множества крошечных молекул; чем они горячее, тем быстрее могут двигаться. Не все молекулы в горячей воде движутся с одинаковой скоростью — «температура» представляет собой не одинаковую скорость всех молекул, а их среднюю скорость, которая, в свою очередь, соответствует предсказуемому статистическому распределению скоростей. Как бы то ни было, суть в том, что чем горячее вода, тем быстрее могут двигаться молекулы воды, а значит, тем меньше у вас уверенности относительно вектора скорости (а не просто модуля скорости) любой отдельной молекулы. Когда вы перемножите неопределенности для всех отдельных молекул, ваша неопределенность относительно всего стакана воды возрастет экспоненциально.

Мы берем логарифм от этого экспоненциального объема неопределенности и называем его энтропией. Так что все сходится, как видите.

Связь в обратном направлении менее очевидна. Предположим, у нас есть стакан воды, о котором изначально вам известно лишь то, что его температура составляет 72 градуса. И вдруг святой Лаплас открывает вам точные координаты и скорости всех атомов в этой воде. Теперь вы досконально знаете состояние воды, так что, согласно информационно-теоретическому определению энтропии, ее энтропия равна нулю. Делает ли это ее термодинамическую энтропию равной нулю? Стала ли вода холоднее от того, что мы знаем о ней больше?

Если на время забыть о квантовых эффектах, ответ таков: да! Именно так!

Максвелл как-то спросил: почему мы не можем взять равномерно нагретый газ, разделить его на два объема, А и Б, и пропускать только быстрые молекулы из Б в А, а медленные — только из А в Б? Если бы вы могли построить такую дверцу, вскоре на стороне А у вас оказался бы горячий газ, а на стороне Б — холодный. Это был бы отличный дешевый способ охлаждать продукты, верно?

Агента, который проверяет каждую молекулу газа и решает, пропускать ли ее, называют «демоном Максвелла». И причина, по которой вы не можете построить эффективный холодильник таким способом, заключается в том, что демон Максвелла производит энтропию в процессе проверки молекул газа и принятия решений о том, какие из них пропустить.

Но предположим, вы уже знали, где находятся все молекулы газа?

Тогда вы действительно могли бы запустить демона Максвелла и совершить полезную работу.

Таким образом (снова временно игнорируя квантовые эффекты), если вы знаете состояния всех молекул в стакане горячей воды, она является холодной в самом настоящем термодинамическом смысле: вы можете получить из нее электричество, оставив взамен кубик льда.

Это не нарушает теорему Лиувилля, потому что если Y — это вода, а вы — демон Максвелла (обозначим его как M), то физический процесс протекает следующим образом:

M1Y1 → M1Y1

M2Y2 → M2Y1

M3Y3 → M3Y1

M4Y