Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

(C) Если А и В истинны, Z должно быть истинным.

Но что, спрашивает Черепаха, если он принимает А, В и С, но не Z?

Тогда, говорит Ахилл, он должен попросить Черепаху принять еще одно условное суждение:

(D) Если А, В и С истинны, Z должно быть истинным.

Некоторое время спустя Дуглас Хофштадтер перефразировал этот аргумент так:

АХИЛЛ: «Если у вас есть [(А и В) → Z], а также есть (А и В), то у вас непременно должно быть и Z».

ЧЕРЕПАХА: «О! Вы имеете в виду ((А и В) и [(А и В) → Z]) → Z, верно?»

Как пишет Хофштадтер: «Что бы Ахилл ни считал правилом вывода, Черепаха тут же уплощает это до обычной строки системы. Если использовать только буквы А, В и Z, получится рекурсивный паттерн из все более и более длинных строк».

Этот антипаттерн я называю «Рекурсивным перекладыванием ответственности»; и хотя контрзаклятие к нему порой трудно отыскать, будучи найденным, оно обычно принимает форму: «Перекладывание прекращается немедленно».

Разуму Черепахи необходима динамика добавления Y в пул убеждений, когда X и (X → Y) уже находятся там. Если этой динамики нет — а у камня, например, её нет, — то вы можете бесконечно добавлять X, (X → Y) и ((X и (X → Y)) → Y) до скончания веков, так никогда и не добравшись до Y.

Фраза, которая как-то пришла мне в голову для описания этого требования, звучит так: разум должен быть создан уже в движении. Не существует столь убедительного аргумента, который мог бы придать динамику статичному объекту. Нет настолько убедительной компьютерной программы, чтобы её можно было запустить на камне.

И даже если разум действительно применяет modus ponens, ему бесполезно обладать такими убеждениями, как…

(A) Если на железнодорожных путях лежит малыш, то убрать его оттуда — это фаззл.

(B) На железнодорожных путях лежит малыш.

…если только этот разум также не реализует:

Динамика: Когда пул убеждений содержит «X — это фаззл», отправить X в систему действий.

Под «динамикой» я подразумеваю свойство развития во времени физически реализованной когнитивной системы. «Динамика» — это то, что происходит внутри когнитивной системы, а не данные, которые она хранит в памяти и которыми манипулирует. Динамика — это и есть сами манипуляции. Невозможно записать динамику на листе бумаги, потому что бумага будет просто лежать. Так что текст прямо над этими словами, где написано «динамика», динамикой не является. Если бы я хотел, чтобы этот текст был динамикой, а не просто говорил «динамика», мне пришлось бы написать Java-апплет.

Само собой разумеется, наличие убеждения…

(C) Если пул убеждений содержит «X — это фаззл», то «отправить „X“ в систему действий» — это фаззл.

…не поможет, если только разум уже не реализует поведение по переводу гипотетических действий с пометкой «фаззл» в реальные моторные действия.

Благодаря строгим рассуждениям о природе когнитивных систем вы, возможно, сможете доказать…

(D) Разум с динамикой, отправляющей планы с пометкой «фаззл» в систему действий, является более фаззловым, чем разумы, у которых её нет.

…но это всё равно не поможет, если только слушающий разум заранее не обладал динамикой замены своего текущего исходного кода альтернативным исходным кодом, который считается более фаззловым.

Вот почему вы не можете с помощью аргументов наделить камень фаззловостью.

*

268. Сортировка камешков в правильные кучи.

Давным-давно существовал один странный маленький вид — возможно, биологический, а возможно, синтетический, а может, и вовсе бывший лишь сном, — чьей страстью была сортировка камешков в правильные кучи.

Они не могли объяснить, почему одни кучи были правильными, а другие нет. Но все они сходились во мнении, что самое важное на свете — это создавать правильные кучи и разбрасывать неправильные.

Почему народ сортировщиков камешков так сильно пёкся об этом, история умалчивает — быть может, виной тому фишеровское убегание в половом отборе, начавшееся по чистой случайности миллион лет назад? Или, возможно, это было странное произведение разумного искусства, созданное более могущественными умами и брошенное на произвол судьбы?

Но эта сортировка камешков имела для них настолько колоссальное значение, что все философы сортировщиков камешков в один голос твердили, что сортировка куч — это и есть истинный смысл их жизни. Они утверждали, что единственная оправданная причина принимать пищу — это сортировать камешки, единственная оправданная причина спариваться — это сортировать камешки, а единственная оправданная причина участвовать в мировой экономике — это эффективнее сортировать камешки.

В этом весь народ сортировщиков камешков был согласен, но они не всегда сходились в том, какие именно кучи правильные, а какие — нет.

В ранние времена цивилизации сортировщиков камешков кучи, которые они создавали, были в основном небольшими, с числом элементов вроде 23 или 29; они не могли определить, правильны ли кучи побольше. Три тысячелетия назад Великий Вождь Бико сложил кучу из 91 камешка и провозгласил её правильной, и легионы его восторженных последователей стали сооружать подобные кучи. Но за несколько столетий, по мере угасания могущества биконианцев, среди самых умных и образованных стало крепнуть интуитивное ощущение, что куча из 91 камешка — неправильная. Пока, наконец, они не осознали, что совершили, и не разбросали все кучи из 91 камешка. Не без уколов сожаления, ведь некоторые из этих куч были великими произведениями искусства — но увы, неправильными. Они разбросали даже первоначальную кучу Бико, сложенную из 91 драгоценного камня, каждый из которых был своего вида и цвета.

И с тех пор ни одна цивилизация всерьёз не сомневалась в том, что куча из 91 элемента — неправильная.

Сегодня, в эти более мудрые времена, размер куч, которые отваживаются собирать сортировщики камешков, стал гораздо больше — и все согласны, что это было бы величайшим и прекраснейшим достижением, если бы только они могли быть уверены, что эти кучи действительно правильные. Между странами, расходившимися во мнениях о том, какие кучи правильные, вспыхивали войны: сортировщики камешков никогда не забудут Великую войну 1957 года между И’ха-нтлеем и И’нот’ха-нтлеем из-за куч размером 1957. Эта война, в ходе которой на планете сортировщиков камешков впервые применили ядерное оружие, наконец завершилась, когда и’нот’ха-нтлейский философ Ат’гра’лен’лей продемонстрировал лежащие бок о бок кучу из 103 камешков и кучу из 19 камешков. Этот довод оказался настолько убедительным, что даже И’ха-нтлей неохотно признал: создание куч из 1957 камешков лучше прекратить — по крайней