Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Рассмотрим кубы {1, 8, 27, 64, 125, ...}. На первый взгляд может показаться, что в их первых разностях {7, 19, 37, 61, ...} нет очевидной закономерности, но если взять вторые разности {12, 18, 24, ...}, мы спустимся на уровень простых соотношений. Третьи же разности {6, 6, ...} выводят нас на абсолютно стабильный уровень, где хаос растворяется в порядке.

Но это специально подобранный пример. Может быть, «хаотичному реальному миру» не хватает красоты этих абстрактных математических объектов? Быть может, уместнее было бы поговорить о нейробиологии или сетях экспрессии генов?

Абстрактная математика, будучи порождением исключительно воображения, строится на простых основаниях — небольшом наборе начальных аксиом — и представляет собой замкнутую систему; эти условия могут показаться неестественно благоприятными для идеального порядка.

Иными словами, в чистой математике вам не нужно беспокоиться о том, что из кустов выпрыгнет тигр и съест треугольник Паскаля.

Так неужели реальный мир уродливее математики?

Странно, что люди вообще задаются этим вопросом. Я хочу сказать, этот вопрос мог иметь смысл два с половиной тысячелетия назад... В те времена, когда древнегреческие философы спорили, из чего же сделана эта штуковина под названием «реальный мир», существовало множество мнений. Гераклит утверждал: «Всё есть огонь». Фалес говорил: «Всё есть вода». Пифагор заявлял: «Всё есть число».

Счёт:

Гераклит: 0

Фалес: 0

Пифагор: 1

Под сложными формами и очертаниями поверхностного мира скрывается простой уровень — точный и стабильный, законы которого мы называем «физикой». Это открытие, Великое Изумление, уже совершилось в нашей точке человеческой истории — но не стоит забывать, насколько поразительным оно было. Когда-то люди отправились на поиски фундаментальной красоты без каких-либо гарантий её найти; и когда-то они её нашли; теперь же это общеизвестный факт, принимаемый как должное.

Но почему тогда мы не можем предсказать местонахождение каждого тигра в кустах так же легко, как предсказываем шестой куб?

Я насчитываю три источника неопределённости даже в мирах чистой математики — два очевидных и один не столь очевидный.

Первый источник неопределённости заключается в том, что даже существо из чистой математики, живущее внутри математического мира, может не знать этой математики. Люди ходили по Земле задолго до того, как Галилей, Ньютон и Эйнштейн открыли закон всемирного тяготения, удерживающий нас от улетания в открытый космос. Вы можете подчиняться стабильным фундаментальным правилам, не подозревая об их существовании. В физике нет закона, гласящего, что законы физики должны быть в явном виде представлены в виде знания в работающих под их управлением мозгах.

У нас всё ещё нет Теории Всего. Наши лучшие современные теории — это математические концепции, но они не согласуются друг с другом идеально. Наиболее вероятное объяснение состоит в том, что — как уже бывало в прошлом — мы наблюдаем поверхностные проявления более глубокой математики. Так что лучшая догадка на сегодняшний день: реальность состоит из математики, но мы пока не знаем до конца, из какой именно.

Однако физикам приходится строить огромные ускорители частиц, чтобы выбирать между теориями — чтобы хоть как-то наглядно проявить оставшуюся неопределённость. То, что физикам приходится прикладывать столько усилий, чтобы просто столкнуться с неопределённостью, говорит о том, что наша неуверенность в ценах на акции имеет иной источник.

Второй очевидный источник неопределённости: даже зная все применимые законы физики, вы можете не обладать достаточной вычислительной мощностью для их экстраполяции. Мы знаем каждый фундаментальный физический закон, управляющий тем, как цепочка аминокислот сворачивается в белок. Но мы всё ещё не можем предсказать форму белка по его аминокислотному составу. Какая-то крошечная пятинанометровая молекула, сворачивающаяся за микросекунду, содержит слишком много информации, чтобы с ней могли совладать современные компьютеры (что уж говорить о тиграх и ценах на акции). Передовые разработки в области свертывания белков используют остроумные приближения, а не фундаментальное уравнение Шрёдингера. Когда речь заходит об описании пятинанометрового объекта с помощью действительно базовой физики, на уровне кварков — что ж, вы даже не пытаетесь.

Нам приходится использовать такие методы, как рентгеновская кристаллография и ЯМР, чтобы определять формы белков, которые полностью задаются известной нам физикой и известной нам последовательностью ДНК. Мы не обладаем логическим всеведением; мы не видим всех следствий собственных мыслей; мы не знаем собственных убеждений.

Третий источник неопределённости труднее всего для понимания, и Ник Бостром написал об этом целую книгу. Предположим, что последовательность {1, 8, 27, 64, 125, ...} существует; предположим, что это факт. И предположим, что на каждом кубе сидит по человечку — по одному человеку на куб — и предположим, что это тоже факт.

Если вы посмотрите на это со стороны, с глобальной точки зрения — сверху вниз на последовательность кубов и примостившихся на них человечков, — то этих двух фактов будет достаточно, чтобы знать абсолютно всё о последовательности и о людях.

Но если вы — один из тех человечков, что сидят на вершине куба, и вам известны эти два факта, вам всё ещё требуется третья деталь, чтобы строить прогнозы: «На каком именно кубе стою я?»

Вы ожидаете обнаружить себя стоящим на кубе; вы не ожидаете обнаружить себя стоящим на числе 7. Ваши ожидания определённо ограничены вашим знанием базовой физики; ваши убеждения фальсифицируемы. Но вам всё равно нужно посмотреть вниз, чтобы узнать, стоите ли вы на числе 1728 или 5 177 717. Если вы умеете быстро считать в уме, то, заметив, что первые две цифры четырёхзначного куба — это 17__, вы легко догадаетесь, что последние цифры — это 2 и 8. В противном случае вам придётся посмотреть вниз и на них тоже.

Чтобы понять, как должно выглядеть ночное небо, недостаточно просто знать законы физики. Недостаточно даже обладать логическим всеведением относительно их следствий. Вам нужно знать, где во Вселенной вы находитесь. Вы должны знать, что смотрите на ночное небо с Земли. Требуемая информация — это не просто сведения, позволяющие определить положение Земли в видимой Вселенной, а во всей Вселенной целиком, включая все те части, которые наши телескопы не могут увидеть из-за их удалённости, а также различные инфляционные вселенные и альтернативные эвереттовские ветви.

Весьма вероятно, что «неопределённость начальных граничных условий» — это на самом деле индексикальная неопределённость. Но даже если нет, это эмпирическая неопределённость, то есть неопределённость относительно того, какова Вселенная на самом деле с глобальной точки зрения, что относит её к тому же классу, что и неопределённость фундаментальных законов.

Всякий раз, когда наше лучшее предположение указывает на то, что