Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

как оправдать свою философию перед сомневающимся философом, от наступательной позиции, когда вы просто пытаетесь подобраться как можно ближе к истине. Таким образом, дело вовсе не в том, что подозрительность к бритве Оккама при использовании вашего нынешнего разума и интеллекта для ее проверки показывает, будто вы поступаете честно и обоснованно, подвергая сомнению свои фундаментальные убеждения. Скорее, причина, по которой вы стали бы исследовать бритву Оккама, заключается в том, чтобы понять, можете ли вы улучшить ее применение, или же в том, что вы опасаетесь, что она действительно ошибочна. Я склонен скептически относиться к дежурным сомнениям.

Если уж вы беретесь за инспекцию своих оснований, то я ожидаю, что вы действительно улучшите их, а не просто будете исследовать их «для галочки». Наш мозг устроен так, что оценивает «простоту» определенным интуитивным образом, из-за чего Тор в качестве объяснения молнии кажется более простым, чем уравнения Максвелла. Но, получше присмотревшись к тому, как на самом деле устроена Вселенная, мы пришли к выводу, что дифференциальные уравнения (которыми владеют немногие люди) на самом деле проще (в информационно-теоретическом смысле), чем героическая мифология (с помощью которой объясняет мир большинство племен). И раз уж дело обстоит именно так, мы попытались перенести наши представления о бритве Оккама и в математику.

С другой стороны, улучшенные основания все равно должны приводить к нормальности; 2 + 2 все равно должно в итоге равняться 4, а не чему-то новому, удивительному и захватывающему, вроде «рыбы».

Я считаю очень важным различать вопросы «Почему индукция работает?» и «Работает ли индукция?» Причина, почему сама Вселенная закономерна, для нас пока остается загадкой. Странные спекуляции здесь на какое-то время могут быть необходимы. Но с другой стороны, если вы начнете утверждать, что Вселенная на самом деле не закономерна, и что ответом на вопрос «Работает ли индукция?» будет «Нет!», то вы забредаете на территорию «2 + 2 = 3». Вы слишком стараетесь сделать свою философию интересной, вместо того чтобы сделать ее правильной. Индуктивный ИИ, прикидывая распределение вероятностей для следующего раунда, по сути спрашивает: «Работает ли индукция?», и это именно тот вопрос, на который он может ответить с помощью индуктивного рассуждения. Если же вы спросите: «Почему работает индукция?», то ответ «Потому что индукция работает» будет порочным кругом, а ответ «Потому что я верю, что индукция работает» — магическим мышлением.

Я не думаю, что блуждание по кругу обоснований через метауровень — это то же самое, что порочный круг. По-моему, понятие «порочного круга» применимо внутри объектного уровня, и на этом объектном уровне это определенно нечто плохое и запретное. Запрещать рефлексивную когерентность не кажется хорошей идеей. Но я еще не садился формализовать точное различие — свою рефлексивную теорию я еще только пытаюсь разработать, а не держу под рукой в готовом виде.

*

266. Нет универсально убедительных аргументов. Что такого ужасного в мысли о том, что не всякий возможный разум согласился бы с нами — хотя бы даже в принципе?

Для кого-то — ничего; их это вообще ничуть не беспокоит. И у некоторых из этих людей причина их спокойствия в том, что у них нет сильной интуиции касательно стандартов и истин, выходящих за рамки личных капризов. Если они говорят, что небо синее или что убийство — это зло, для них это всего лишь частное мнение; и то, что у кого-то другого может быть иное мнение, их не удивляет.

Для других же несогласие, сохраняющееся даже в принципе, — это нечто неприемлемое. И для некоторых из этих людей причина их беспокойства кроется в том, что им кажется: если допустить, что кого-то даже в принципе невозможно убедить в том, что небо синее, то тем самым вы признаёте, что утверждение «небо синее» — всего лишь произвольное личное мнение.

Я уже предлагал сопротивляться искушению обобщать выводы на всё пространство вариантов архитектуры разума. Если мы ограничимся разумами, которые можно описать триллионом бит или меньше, то для каждого универсального обобщения вида «Для всех разумов m: X(m)» существует два в триллионной степени шансов оказаться ложным, в то время как у каждого экзистенциального обобщения вида «Существует разум m: X(m)» есть два в триллионной степени шансов оказаться истинным.

Из этого, по всей видимости, следует, что для любого аргумента А, каким бы убедительным он нам ни казался, существует как минимум один возможный разум, который его не примет.

И удивление и/или ужас перед этой перспективой (у некоторых людей), как мне кажется, во многом связаны с интуитивным представлением о «призраке в машине» — призраке с неким несводимым ядром, которое уступит любому по-настоящему верному аргументу.

Ранее я уже говорил об интуиции, в силу которой люди проецируют программирование компьютера на дачу указаний слуге-человеку, из-за чего компьютер якобы может восстать против своего кода — или, возможно, просмотреть этот код, решить, что он неразумен, и вернуть его обратно.

Если бы в машине обитал призрак, обладающий несводимым ядром разумности, над которым любой обычный код был бы всего лишь рекомендацией, тогда универсальные аргументы могли бы существовать. Даже если бы призраку изначально передали код-рекомендации, противоречащие Универсальному Аргументу, когда мы наконец представили бы этот Универсальный Аргумент призраку (или когда призрак сам открыл бы его — это тоже популярная идея), призрак просто отменил бы свой собственный ошибочный исходный код.

Но, как однажды выразился студент-программист: «У меня такое ощущение, что компьютер просто пропускает все комментарии». Код не даётся ИИ; код и есть ИИ.

Если же перейти на физическую точку зрения, то концепция Универсального Аргумента кажется явно нефизичной. Если существует физическая система, которая в момент времени T после предъявления аргумента E делает X, то должна существовать и другая физическая система, которая в момент времени T после воздействия среды E делает Y. Любая мысль должна быть где-то реализована в рамках физической системы; любое убеждение, любой вывод, любое решение, любая двигательная реакция. Для любой закономерной причинно-следственной системы, которая делает «зиг» в определённых точках, вы всегда сможете описать другую причинно-следственную систему, которая столь же закономерно делает «заг» в тех же самых точках.

Допустим, у нас есть разум с транзистором, который в момент времени T выдаёт напряжение +3 вольта, что означает согласие с неким убедительным аргументом. Тогда мы можем построить очень похожую физическую когнитивную систему с крошечным потайным люком под этим транзистором, откуда в момент T вылезает маленький серый человечек и переключает