Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

как на вместилище разума, поскольку сумел проследить путь зрительного нерва от глаза к мозгу. И все же при том объеме доказательств, которым он располагал, это было не более чем догадкой.

Когда центральная роль мозга перестала быть догадкой? Я не настолько хорошо знаю историю, чтобы ответить на этот вопрос, да и четкой границы тут, скорее всего, не было. Возможно, этот рубеж стоит провести там, где ученые исследовали анатомию нервов и обнаружили, что разрыв нервной связи с мозгом парализует движения и лишает чувствительности?

Но даже это указывает лишь на некий таинственный дух, бегущий по нервам. Кто скажет, что дерево или вода, пусть у них и нет этих тонких нитей, обнаруженных в человеческом теле, не могут проводить этот же таинственный дух иным путем?

Я потратил некоторое время в Сети, пытаясь найти тот самый момент, когда кто-то обратил внимание на невероятно запутанную внутреннюю структуру нейронов головного мозга и сказал: «Постойте, держу пари, что весь этот гигантский клубок занимается сложной обработкой информации!» Особого успеха я не добился. (Это был не Камилло Гольджи — о запутанности нейронных связей знали еще до него.) Возможно, и здесь не было какого-то одного переломного момента.

Но именно открытие этой запутанности, теория естественного отбора Чарльза Дарвина и представление о познании как о вычислении, на мой взгляд, положили начало процессу, в результате которого антропоморфизм стал очевидно ошибочным.

Именно с этого момента вы можете посмотреть на дерево и сказать: «Я не вижу в биологии дерева ничего, что занималось бы сложной обработкой информации. Не вижу я этого и в его поведении, а если это скрыто так глубоко, что никак не влияет на поведение дерева, то откуда взяться давлению отбора в пользу столь сложной обработки информации?»

Именно с этого момента вы можете посмотреть на реку и сказать: «Вода не содержит структур, реплицирующихся с долгосрочным наследованием и значительной изменчивостью, подверженной итеративному отбору. Так с чего бы у реки возникла структура столь же сложная и функционально оптимизированная, как мозг?»

Именно с этого момента вы можете посмотреть на атом и сказать: «Гнев может казаться простым чувством, но это не так, и ему просто негде поместиться в таком простом объекте, как атом — если только внутри кварков не скрываются целые вселенные субчастиц; но даже в этом случае, раз уж мы никогда не замечали признаков атомного гнева, он никак не влиял бы на известные нам высокоуровневые явления».

Именно с этого момента вы можете посмотреть на щенка и сказать: «Родители щенка могут прижимать его к земле, когда он делает что-то не так, но это не значит, что щенок способен к моральным рассуждениям. Согласно современным теориям эволюционной психологии, моральные рассуждения возникли в ответ на куда более сложные социальные вызовы, а в своей полноценной человеческой форме наши моральные адаптации являются результатом давления отбора в ходе словесных споров о племенной политике».

Именно с этого момента вы можете посмотреть на камень и сказать: «В нем нет даже простых деревьев поиска, которые встроены в шахматную программу — откуда у него возьмутся намерения, заставляющие его хотеть катиться со склона, как когда-то думал Аристотель?»

Написано так:

Чжуан-цзы и Хуэй-цзы гуляли по плотине у водопада Хао, когда Чжуан-цзы сказал: «Посмотри, как мальки резвятся и плавают где хотят! Вот в чем истинная радость рыб!»

Хуэй-цзы спросил: «Ты не рыба, откуда тебе знать, чему радуются рыбы?»

Чжуан-цзы ответил: «Ты не я, откуда тебе знать, что я не знаю, чему радуются рыбы?»

Теперь мы знаем.

*

219. Априори.

Традиционная рациональность формулируется в виде социальных правил, нарушения которых интерпретируются как жульничество: если вы нарушаете правила, а никто другой этого не делает, вы первым совершаете предательство — что делает вас очень, очень плохим человеком. Для байесианцев же мозг — это двигатель точности: если вы нарушаете законы рациональности, двигатель просто не работает, и это в равной степени верно независимо от того, нарушает ли правила кто-то ещё или нет.

Рассмотрим проблему бритвы Оккама, с которой сталкиваются традиционные философы. Если две гипотезы одинаково хорошо соответствуют одним и тем же наблюдениям, почему мы должны верить, что более простая из них с большей вероятностью окажется верной? Можно возразить, что Бритва Оккама работала в прошлом, и поэтому, вероятно, продолжит работать в будущем. Но это само по себе апеллирует к предсказанию, основанному на бритве Оккама. Утверждение «Бритва Оккама работает до 8 октября 2027 года, а после этого перестаёт работать» сложнее, но оно точно так же соответствует всем наблюдаемым свидетельствам.

Можно поспорить, что бритва Оккама — это разумное распределение априорных вероятностей. Но что такое «разумное» распределение? Почему бы не назвать «разумным» очень сложное априорное распределение, при котором бритва Оккама работает во всех проведённых до сих пор наблюдениях, но создаёт исключения в будущих случаях?

И в самом деле, похоже, нет никакого способа обосновать бритву Оккама, кроме как апеллируя к самой бритве Оккама, что делает этот аргумент вряд ли способным убедить любого судью, который уже не принимает бритву Оккама. (Что особенного в словах, которые я выделил курсивом?)

Если вы философ, чья повседневная работа состоит в том, чтобы писать статьи, критиковать чужие статьи и отвечать на чужую критику ваших собственных статей, то вы можете посмотреть на бритву Оккама и пожать плечами. Вот и конец обоснованиям, спорам и убеждениям. Вы решаете объявить перемирие в написании статей: если ваши коллеги-философы не требуют обоснования ваших неоспоримых убеждений, вы не будете требовать обоснования их убеждений. И в качестве символа вашего договора, вашего белого флага, вы используете фразу «априорная истина».

Но для байесианца в нашу эпоху когнитивных наук, эволюционной биологии и искусственного интеллекта слова «априори» не объясняют, почему работает двигатель мозга. Если у мозга есть потрясающая «фабрика априорных истин», которая работает над производством точных убеждений, возникает вопрос: почему испытывающий жажду охотник-собиратель не может использовать эту «фабрику априорных истин», чтобы найти питьевую воду? Возникает вопрос: зачем вообще в ходе эволюции появились глаза, если существуют способы производить точные убеждения, не глядя на вещи?

Джеймс Р. Ньюмен сказал: «Тот факт, что одно яблоко, добавленное к другому яблоку, неизменно даёт два яблока, помогает при обучении арифметике, но не имеет никакого отношения к истинности утверждения, что 1 + 1 = 2». Интернет-энциклопедия философии определяет «априорные» суждения как такие, которые могут быть познаны независимо от опыта. Википедия цитирует Юма: