Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Проходят годы.

Выжили две доминирующие модели — в академических кругах, под пристальным вниманием общественности и под пристальным вниманием тех учёных, которые когда-то совершали открытия эйнштейновского масштаба. Согласно одной теории, сетка является проекцией объектов в пятимерном пространстве с асимметрией между 3 и 2 пространственными измерениями. Существует также теория, что сетка призвана кодировать клеточный автомат — пожалуй, сетка обладает для этого несколькими удачными свойствами. Были разработаны коды, демонстрирующие интересное поведение, но до сих пор запуск соответствующих автоматов на самых мощных из существующих компьютеров не дал никакого поддающегося расшифровке результата. Расчёты продолжаются.

Время от времени кто-нибудь берёт группу особенно блестящих молодых студентов, которые никогда не видели детальную двоичную последовательность. Этим студентам показывают только первые 32 строки (по 512 столбцов в каждой), чтобы посмотреть, смогут ли они создать новые модели и насколько хорошо эти новые модели справятся с предсказанием следующих 224 строк. Как модель «3+2 измерения», так и модель клеточного автомата были успешно воспроизведены этими студентами; превзойти этот результат им пока не удалось. Существуют сложные модели, идеально подогнанные под всю последовательность — но они, как все понимают, скорее всего, бесполезны.

Десять лет спустя звёзды снова начинают мерцать.

Уже при получении первых 128 бит становится ясно, что Вторая Сетка может соответствовать небольшим движениям в предполагаемом пространстве «3+2 измерения», но не имеет ничего общего с последующим состоянием в рамках любой из доминирующих теорий клеточных автоматов. Это вызывает всеобщее ликование, и физики принимаются за выведение динамических законов физики, которые могли бы управлять объектами в пространстве «3+2 измерения». Большой объем работы в этом направлении уже был проделан просто на основе размышлений о том, какого рода уравновешенные силы могли породить объекты на Первой Сетке, будь эти объекты статичными — но теперь кажется, что статичны не все объекты. Как и предполагало большинство физиков, статически уравновешенные теории выглядели надуманными.

Сформулировано множество изящных уравнений для описания динамических объектов в пространстве «3+2 измерения», проецируемых на Первую и Вторую Сетки. Некоторые уравнения элегантнее других; некоторые точнее предсказывают (увы, задним числом) Вторую Сетку. Группа блестящих физиков, которая предусмотрительно изолировала себя и изучала только первые 32 строки Второй Сетки, выводит уравнения, кажущиеся им элегантными — и эти уравнения также отлично справляются с предсказанием следующих 224 строк. Это становится доминирующей гипотезой.

Но эти уравнения неполны; кажется, их недостаточно, чтобы создать целую вселенную. Возникает целое кустарное направление по угадыванию законов, которые могли бы дополнить те, что уже угаданы.

Когда через десять лет после Второй Сетки появляется Третья, она приносит информацию о вторых производных, что вынуждает существенно изменить «неполную, но хорошую» теорию. Но, учитывая все обстоятельства, теория переносит это испытание вполне достойно.

Четвёртая Сетка мало что добавляет к общей картине. Третьи производные, похоже, не имеют значения для физики «3+2», выведенной из Сеток.

Пятая Сетка выглядит почти в точности так, как и ожидалось.

И Шестая Сетка, и Седьмая.

(Ах да, и каждый раз, когда кто-то в этом мире пытается создать по-настоящему мощный ИИ, компьютерное оборудование спонтанно плавится. Для сюжета это не так уж важно, но мне нужно ввести этот постулат, чтобы люди во плоти оставались у дел целых семьдесят лет.)

В чём моя мораль?

В том, что даже Эйнштейн не приблизился и на миллион световых лет к эффективному использованию сенсорных данных.

Риман изобрел свои геометрии задолго до того, как Эйнштейн нашёл им применение; физика нашей вселенной в абсолютном смысле не так уж сложна. Байесовский сверхинтеллект, подключённый к веб-камере, сформулировал бы общую теорию относительности в качестве гипотезы — возможно, не доминирующей гипотезы по сравнению с ньютоновской механикой, но всё же гипотезы, находящейся на прямом рассмотрении — уже к моменту, когда он увидел бы третий кадр падающего яблока. Он мог бы догадаться о ней и по первому кадру, если бы увидел статику согнутой травинки.

Мы бы додумались до этого. То есть наша цивилизация, будь у неё по десять лет на анализ каждого кадра. Конечно, будь средний IQ равен 140, а эйнштейны встречались бы повсеместно — мы бы додумались.

Даже если бы мы были разумами человеческого уровня в мире с другой физикой — разумами, никогда не видевшими трёхмерного пространства, проецируемого на двумерную сетку, — мы бы всё равно додумались до гипотезы «3D → 2D». Наши математики всё равно изобрели бы векторные пространства и проекции.

Даже если бы мы никогда не видели ускоряющегося бильярдного шара, наши математики всё равно открыли бы математический анализ (например, для задач оптимизации).

Чёрт возьми, подумайте только о безумных математических теориях, изобретённых здесь, на нашей Земле.

Время от времени я сталкиваюсь с людьми, утверждающими нечто вроде: «Существует теоретический предел того, как много можно вывести о внешнем мире, располагая лишь конечным объёмом сенсорных данных».

Да, существует. Этот теоретический предел заключается в том, что каждый раз, когда вы получаете 1 дополнительный бит, нельзя ожидать, что он отсеет более половины оставшихся гипотез (вернее, половину оставшейся вероятностной массы). И что избыточное сообщение не может передать больше информации, чем его сжатая версия. Как не может и один бит передать какую-либо информацию о величине, корреляция с которой у него строго равна нулю во всех вероятных мирах, которые вы себе представляете.

Но ничто из того, что, по моему описанию, делает эта человеческая цивилизация, даже не начинает приближаться к теоретическим пределам, установленным формализмом индукции Соломонова. Это и рядом не стояло с картиной, которую можно было бы получить, если бы вы могли перебрать каждую вычислимую гипотезу, взвесив их по степени простоты, и провести байесовское обновление для всех них.

Чтобы увидеть теоретический предел извлекаемой информации, представьте, что у вас есть бесконечная вычислительная мощность и вы моделируете все возможные вселенные с простой физикой, разыскивая те, внутри которых содержатся Земли — возможно, внутри симуляции, — где некий процесс заставляет звёзды мерцать в наблюдаемом порядке. Любой бит в сообщении — или любой порядок выбора звёзд, если на то пошло, — который содержит малейшую корреляцию (по всем возможным вычислимым вселенным, взвешенным по простоте) с любым элементом окружающей среды, даёт вам информацию об этой среде.

Индукция Соломонова, если понимать её буквально, породила бы счётно-бесконечное множество разумных существ, запертых внутри вычислений. Фактически — вообще всех возможных вычислимых разумных существ. Что вряд ли можно счесть этичным. Так что давайте порадуемся, что это всего лишь формализм.

Но я клоню к тому, что