Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

потому что на низких скоростях артиллерийские снаряды подчиняются ньютоновской механике, а не ОТО. Но физика работает совсем не так. Реальность, похоже, просто продолжает просчитывать всё по ОТО, даже когда разница проявляется только в четырнадцатом знаке после запятой, что человек счел бы колоссальной тратой вычислительной мощности. Физика действует методом грубой силы. Никто еще ни разу не ловил физику на упрощении вычислений — а если кто и поймал, то Властелины Матрицы потом стерли ему память.

Таким образом, наша карта крайне мало похожа на территорию: наши карты многоуровневые, а территория одноуровневая. Поскольку представление настолько невероятно отличается от референта, в каком смысле убеждение вроде «на мне надеты носки» может называться истинным, если в самой реальности существуют лишь кварки?

Если вы вдруг забыли, что означает слово «истинный», классическое определение ему дал Альфред Тарский:

Утверждение «снег белый» истинно тогда и только тогда, когда снег белый.

Если вы забыли, в чем разница между утверждением «я верю, что "снег белый"» и «"снег белый" истинно», см. эссе «Качественная путаница». Истинность нельзя проверить, просто заглянув в собственную голову, — если вы хотите узнать, например, верно ли, что «утренняя звезда = вечерняя звезда», вам понадобится телескоп; недостаточно просто изучать сами убеждения.

Именно этот момент упускают постмодернисты, кричащие: «Но откуда вы знаете, что ваши убеждения истинны?» Когда вы проводите эксперимент, вы действительно выходите за пределы собственной головы. Вы вступаете в сложное взаимодействие, исход которого причинно обусловлен вещью, о которой вы рассуждаете, а не просто вашими убеждениями о ней. Однажды я определил «реальность» так:

Даже когда у меня есть простая гипотеза, твердо подтвержденная всеми известными мне доказательствами, я все равно иногда удивляюсь. Поэтому мне нужны разные названия для штуковин, которые определяют мои прогнозы, и штуковины, которая определяет результаты моих экспериментов. Первые штуковины я называю «убеждением», а вторую — «реальностью».

Интерпретация вашего эксперимента по-прежнему зависит от ваших априорных убеждений. Я не стану сейчас говорить о том, «Откуда берутся априорные вероятности», поскольку это не тема данного эссе. Моя мысль в том, что истинность отсылает к идеальному сравнению убеждения с реальностью. Поскольку мы понимаем, что планеты отличны от убеждений о планетах, мы можем поставить эксперимент, чтобы проверить, является ли убеждение «утренняя звезда и вечерняя звезда — это одна и та же планета» истинным. Этот эксперимент потребует использования телескопов, а не просто интроспекции, потому что мы понимаем, что «истина» включает в себя сравнение внутреннего убеждения с внешним фактом; поэтому мы используем прибор, телескоп, чье наблюдаемое поведение, как мы полагаем, зависит от внешнего факта существования планеты.

Вера в то, что телескоп помогает нам оценить «истинность» равенства «утренняя звезда = вечерняя звезда», опирается на наши априорные убеждения о взаимодействии телескопа с планетой. Опять же, я не буду касаться этого вопроса в данном эссе, за исключением того, что процитирую одну из моих любимых фраз Рэймонда Смаллиана: «Если более искушенный читатель возразит против этого утверждения на том основании, что оно является простой тавтологией, то, пожалуйста, отдайте ему должное хотя бы за то, что оно непротиворечиво». Точно так же я вижу в использовании телескопа не порочный круг в логике, а рефлексивную когерентность; для каждого систематического способа прийти к истине должно существовать рациональное объяснение того, как он работает.

На повестке дня стоит вопрос: что вообще значит для утверждения «снег белый» быть истинным, когда в реальности есть только кварки?

Существует определенный паттерн нейронных связей, составляющий ваши убеждения о «снеге» и «белизне», — мы верим в это, но не знаем и не можем конкретно визуализировать сами нейронные связи. Которые, в свою очередь, воплощены в еще менее изученном паттерне кварков. А во внешнем мире есть молекулы воды, чья температура достаточно низка, чтобы они выстроились в повторяющиеся мозаичные узоры; они ничуть не похожи на клубки нейронов. В каком же смысле при сравнении одного (постоянно флуктуирующего) паттерна кварков с другим убеждение «снег белый» является истинным?

Очевидно, ни я, ни кто-либо другой не можем предложить Идеальную Функцию Сравнения Кварков, которая принимала бы описание нейронно воплощенного убеждения на уровне кварков (включая окружающий мозг) и описание снежинки на уровне кварков (и окружающие законы оптики) и выдавала бы «истина» или «ложь» для утверждения «снег белый». Да и кто сказал, что фундаментальный уровень действительно состоит из полей элементарных частиц?

С другой стороны, отбросить все убеждения из-за того, что они не записаны в виде гигантских, неуправляемых спецификаций о кварках, которых мы даже не видим... кажется не слишком благоразумной идеей. Это явно не лучший способ добиваться наших целей.

Мне кажется, что слово вроде «снег» или «белый» можно рассматривать как своего рода долговой вексель — не как известное точное описание того, какие именно физические конфигурации кварков считаются «снегом», но тем не менее существуют вещи, которые вы называете снегом, и вещи, которые вы им не называете. И даже если в нескольких случаях вы ошибетесь (например, с искусственным снегом), Идеальный Всеведущий Научный Интерпретатор увидел бы плотный кластер в центре и перерисовал бы границы, чтобы дать более простое определение.

В однослойной вселенной, базовый слой которой неизвестен, неопределенен или просто слишком велик для обсуждения, можно сказать, что концепты в многослойном разуме представляют собой своего рода долговой вексель — мы не знаем, чему именно они соответствуют там, вовне. Но нам кажется, что мы можем отличать положительные случаи от отрицательных предсказательно эффективным образом, поэтому мы думаем — возможно, в самом общем смысле, — что существует какое-то различие в кварках, какое-то различие в конфигурациях на фундаментальном уровне, объясняющее различия, которые поступают в наши органы чувств и в конечном счете приводят к тому, что мы говорим «снег» или «не снег».

Я вижу это белое вещество, и оно остается одним и тем же в нескольких разных случаях, поэтому я предполагаю наличие стабильной скрытой причины во внешней среде — я даю ей имя «снег»; тогда «снег» становится долговым векселем, отсылающим к предполагаемой простой границе, которую можно провести вокруг невидимых причин моего опыта.

Мысленный эксперимент Хилари Патнэма «Двойник Земли» (где вода — это не H2O, а какое-то другое странное вещество, обозначаемое как XYZ, но в остальном ведущее себя точно так же, как вода) и последующие философские дебаты помогают высветить эту проблему. У «снега» нет известного нам логического определения — это скорее эмпирически определенный указатель на логическое определение. Это верно даже в том случае, если вы верите, что снег — это кристаллы льда, то есть упорядоченные в