Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Байесовское определение свидетельства в пользу гипотезы — это свидетельство, которое мы с большей вероятностью увидим, если гипотеза верна, чем если она ложна. Наблюдение того, что силлогизм логически корректен, никогда не может служить свидетельством в пользу какого-либо эмпирического утверждения, поскольку силлогизм будет логически корректен независимо от того, истинно это утверждение или ложно.

Силлогизмы логически корректны во всех возможных мирах, и поэтому наблюдение за их корректностью никогда ничего не говорит нам о том, в каком из возможных миров мы действительно живем.

Это не значит, что логика бесполезна, — просто она может сказать нам лишь то, что мы в некотором смысле уже знаем. Но мы не всегда верим в то, что знаем. Является ли число 29 384 209 простым? В силу того, как я определяю свою десятичную систему и аксиомы арифметики, я уже предопределил свой ответ на этот вопрос, но я еще не знаю, каков мой ответ, и мне нужно применить логику, чтобы это выяснить.

Точно так же, если я сформулирую ненадежное эмпирическое обобщение «Люди уязвимы для болиголова» и ненадежную эмпирическую догадку «Сократ — человек», логика может подсказать мне, что мои предыдущие догадки предсказывают, что Сократ окажется уязвим для болиголова.

Было высказано предположение, что логическое рассуждение можно рассматривать как разрешение нашей неопределенности относительно невозможных возможных миров — устранение вероятностной массы в логически невозможных мирах, о логической невозможности которых мы не знали. В этом смысле логический аргумент можно трактовать как наблюдение.

Но когда речь идет об эмпирическом предсказании вроде «Сократ упадет и перестанет дышать» или «Сократ сделает пятьдесят прыжков на месте, а в следующем году выступит на Олимпийских играх», это вопрос возможных миров, а не невозможных возможных миров.

Логика может подсказать нам, какие гипотезы соответствуют тем или иным наблюдениям, и она может сказать, что эти гипотезы предсказывают на будущее — она позволяет применить прошлые наблюдения и прежние догадки к новой проблеме. Но логика никогда прямо не заявляет: «Сократ точно перестанет дышать прямо сейчас». Логика никогда не диктует ответы на эмпирические вопросы; она никогда не дает окончательного ответа на вопросы о реальном мире, исход которых — даже при самом богатом воображении — мог бы оказаться любым.

Просто помните Литанию против логики:

Логика остается верной, куда бы ты ни пошел,

Поэтому логика никогда не скажет тебе, где ты живешь.

*

155. Слова как скрытые выводы.

Представьте, что я нахожу бочку, закрытую сверху, но с отверстием, достаточно большим для руки. Я просовываю туда руку и нащупываю маленький изогнутый предмет. Вытаскиваю его, и он оказывается синим — синеватым яйцом. Затем я снова опускаю руку и нащупываю что-то твердое и плоское, с гранями — достав это, я вижу красный куб. Я достаю 11 яиц и 8 кубов, и каждое яйцо оказывается синим, а каждый куб — красным.

Теперь я снова лезу внутрь и нащупываю еще один объект яйцевидной формы. Прежде чем вытащить его и посмотреть, мне нужно угадать: как он будет выглядеть?

Полученные свидетельства не доказывают, что каждое яйцо в бочке синее, а каждый куб красный. Свидетельства даже не особо убедительно на это указывают: 19 объектов — это небольшая выборка. Тем не менее я предположу, что этот яйцевидный объект синий, или, в качестве запасного варианта, красный. Если я предположу любой другой цвет, вариантов окажется столько же, сколько различимых глазом оттенков — да и вообще, кто сказал, что яйцо должно быть одноцветным? Возможно, на нем нарисована лошадь.

Так что я говорю «синее» с обязательным налетом смирения. Ведь я умудренный опытом рационалист и отслеживаю свои допущения и зависимости — я строю догадки, но осознаю, что это лишь догадки... верно?

Но когда из теней на меня прыгает крупный желтый полосатый объект кошачьего вида, я думаю: «Ой! Тигр!» А не: «Хм... объекты, обладающие свойствами крупного размера, желтизны, полосатости и кошачьего вида, ранее часто обладали свойствами "голодный" и "опасный", и, следовательно, хотя это и не является логически необходимым, эмпирически обоснованной догадкой может быть то, что аааауууугхххх ХРУСТЬ ХРУСТЬ ГЛОТ».

Человеческий мозг по какой-то странной причине, похоже, приспособился делать такие выводы быстро, автоматически и без явного отслеживания своих допущений.

И если я назову яйцевидные объекты «блэггами» (от синих яиц), а красные кубы — «рубами», то, когда я снова нащупаю объект яйцевидной формы, я, скорее всего, подумаю: «О, это блэгг», вместо того чтобы размышлять над всей этой проблемой индукции.

Распространено заблуждение, будто слово можно определять как угодно.

Это было бы правдой, если бы мозг относился к словам как к чисто логическим конструктам, аристотелевским классам, из которых невозможно извлечь больше информации, чем в них заложено.

И всё же мозг продолжает заниматься категоризацией, одобряем мы это сознательно или нет. «Все люди смертны; Сократ — человек; следовательно, Сократ смертен» — так говорили древнегреческие философы. Что ж, если смертность входит в ваше логическое определение «человека», вы не можете логически классифицировать Сократа как человека, пока не убедитесь в его смертности. Но — и в этом вся проблема — Аристотель прекрасно знал, что Сократ — человек. Мозг Аристотеля поместил Сократа в категорию «человек» столь же эффективно, как ваш собственный мозг классифицирует тигров, яблоки и всё остальное в вашем окружении: быстро, молча и без вашего сознательного одобрения.

Аристотель установил правила, согласно которым никто не мог сделать вывод, что Сократ — «человек», до тех пор, пока тот не умрет. Тем не менее Аристотель и его ученики продолжали делать выводы о том, что живые люди — это люди, и следовательно, они смертны; они видели отличительные признаки вроде человеческих лиц и тел, и их мозг совершал скачок к предполагаемым свойствам вроде смертности.

Непонимание работы собственного разума, к счастью, не мешает разуму выполнять свою работу. Иначе аристотелики умерли бы с голоду, будучи неспособны сделать вывод о съедобности предмета только потому, что внешне и на ощупь он напоминает банан.

Так что аристотелики продолжали классифицировать окружающие объекты на основе неполной информации, как люди делали всегда. Те, кто изучал аристотелевскую логику, продолжали думать точно так же, но у них сформировалось ошибочное представление о том, что именно они делают.

Если бы вы спросили аристотелевского философа, смертна ли бакалейщица Кэрол, он ответил