Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Поскольку демон Максвелла знает точное состояние Y, это взаимная информация между M и Y. Взаимная информация уменьшает совместную энтропию (M,Y): имеем H(M,Y) = H(M) + H(Y) - I(M;Y). Демон M обладает 2 битами энтропии, Y обладает 2 битами энтропии, а их взаимная информация составляет 2 бита, поэтому совместная система (M,Y) имеет в общей сложности 2 + 2 - 2 = 2 бита энтропии. Физический процесс просто преобразует «холод» (отрицательную энтропию, или негэнтропию) взаимной информации, делая саму воду холодной, — после этого M имеет 2 бита энтропии, Y имеет 0 бит энтропии, а взаимная информация равна 0. И никаких противоречий здесь нет!

И не надо говорить мне, что знание «субъективно». Знание должно быть представлено в мозге, а это делает его столь же физическим, как и все остальное. Чтобы M физически представлял точную картину состояния Y, физическое состояние M должно коррелировать с состоянием Y. Из этого можно извлечь термодинамическую выгоду — это называется двигателем Сциларда.

Или, как выразился Э. Т. Джейнс: «Старая пословица „знание — сила“ — это неоспоримая истина как в человеческих отношениях, так и в термодинамике».

И наоборот, одна подсистема не может увеличить свою взаимную информацию с другой подсистемой без того, чтобы (а) вступить с ней во взаимодействие и (б) совершить термодинамическую работу.

В противном случае вы могли бы создать демона Максвелла и нарушить второй закон термодинамики — что, в свою очередь, нарушило бы теорему Лиувилля, а это запрещено в стандартной модели физики.

Иначе говоря: чтобы сформировать верные убеждения относительно чего-либо, вам действительно нужно это пронаблюдать. Это очень физический, очень реальный процесс: любой рациональный разум совершает «работу» в термодинамическом смысле, а не просто в смысле умственных усилий.

(Иногда говорят, что термодинамическая работа тратится на стирание битов при подготовке к следующему наблюдению — но это различие касается лишь формулировок и угла зрения; математика здесь совершенно однозначна.)

(Открытие логических «истин» — это усложнение, которое я пока не буду рассматривать, по крайней мере отчасти потому, что сам всё еще обдумываю строгий формализм. В термодинамике знание логических истин не считается негэнтропией — что вполне ожидаемо, поскольку обратимый компьютер может вычислять логические истины со сколь угодно малыми затратами. Все сказанное мной верно для логически всеведущего разума: любой менее совершенный разум неизбежно будет менее эффективен.)

«Формирование точных убеждений требует соответствующего количества свидетельств» — это неоспоримая истина как в человеческих отношениях, так и в термодинамике: если бы слепая вера действительно работала как метод познания, вы могли бы превращать теплую воду в электричество и кубики льда. Достаточно было бы построить демона Максвелла, который слепо верит в скорости молекул.

Двигатели познания не так уж сильно отличаются от тепловых двигателей, пусть даже они манипулируют энтропией в более тонкой форме, чем при сжигании бензина. Например, в той мере, в какой двигатель познания не является идеально эффективным, он должен выделять избыточное тепло, совсем как автомобильный двигатель или холодильник.

«Холодная рациональность» верна в том смысле, который голливудским сценаристам и не снился (и ложна в том смысле, который они себе воображали).

Так что пока вы не укажете мне, на каком именно конкретном шаге ваше рассуждение нарушает законы физики, давая вам истинное знание о ненаблюдаемом, не ждите, что я поверю, будто на это способно длинное, сложное и хитроумное рассуждение.

*

187. Убеждения как вечные двигатели. Предыдущее эссе заканчивалось так:

Чтобы сформировать точные убеждения о чём-либо, вам действительно необходимо это наблюдать. Это глубоко физический, абсолютно реальный процесс: любой рациональный разум совершает «работу» в термодинамическом смысле, а не просто в смысле умственных усилий… Так что, пока вы не укажете, какой конкретный шаг в вашем рассуждении нарушает законы физики, даруя вам истинное знание о невидимом, не ждите, что я поверю, будто на это способен длинный, сложный и хитроумный аргумент.

Один из главных выводов математической аналогии между термодинамикой и познанием заключается в том, что ограничения вероятности неизбежны. Вероятность может быть «субъективным состоянием убеждения», но законы вероятности тверже стали.

В условиях традиционной школьной системы люди привыкают к тому, что учитель говорит им определенные вещи, и они обязаны им верить и повторять их; но если всего лишь ученик предлагает какое-то убеждение, ему подчиняться не обязательно. Они проецируют область убеждений на область авторитета и думают, что уверенное убеждение подобно приказу, который необходимо выполнить, а вероятностное убеждение — не более чем рекомендация.

Они смотрят на лотерейный билет и говорят: «Но вы же не можете доказать, что я не выиграю, верно?» Подразумевая: «Вы, может, и рассчитали низкую вероятность выигрыша, но раз это вероятность, то это всего лишь рекомендация, а мне позволено верить во что захочется».

Вот небольшой эксперимент: разбейте яйцо о пол. Правило, согласно которому яйцо не соберется самопроизвольно обратно и не прыгнет вам в руку, — всего лишь вероятностное. Рекомендация, если хотите. Законы термодинамики вероятностны, поэтому они не могут быть настоящими законами, как закон «Не убий»… верно?

Так почему бы просто не проигнорировать эту рекомендацию? И тогда яйцо соберется обратно… верно?

Возможно, вам поможет такой взгляд на вещи — если у вас всё ещё сохраняется смутная интуиция, будто вероятностные убеждения не обладают авторитетом:

В реальности существует ничтожно малый шанс, что яйцо самопроизвольно соберется. Но вы не можете ожидать, что оно соберется. Вы должны ожидать, что оно разобьется. Ваше обязательное убеждение заключается в том, что вероятность самопроизвольного восстановления яйца близка к нулю (~0). Вероятности не являются несомненными фактами, но законы вероятности — это теоремы.

Если вы сомневаетесь в этом, попробуйте уронить яйцо на пол несколько дециллионов раз, игнорируя термодинамическую рекомендацию и ожидая, что оно самопроизвольно соберется, и посмотрите, что получится. Вероятности могут быть субъективными состояниями убеждения, но управляющие ими законы гораздо прочнее стали. Я когда-то знал человека, который был убежден, что его система колес и шестеренок создаст безопорную тягу, и у него была таблица в Excel, которая это доказывала, — показать её нам он, конечно, не мог, поскольку всё ещё разрабатывал систему. В классической механике нарушение закона сохранения импульса доказуемо невозможно. Поэтому любая таблица Excel, рассчитанная по правилам классической механики, должна с необходимостью показывать отсутствие безопорной тяги — если только ваша машина не настолько сложна, что вы допустили ошибку в расчетах.

И точно так же, когда недоучившиеся или обученные лишь на десятую часть рационалисты