Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Рассматривать Науку как простое приближение к некоему теоретико-вероятностному идеалу рациональности... казалось бы, определенно рационально. Существует крайне разумно звучащий аргумент в пользу того, что теорема Байеса — это скрытая структура, объясняющая, почему Наука вообще работает. Но подчинить Науку грандиозной схеме байесианства и позволить байесианству вмешиваться и отменять вердикт Науки, когда это кажется уместным, — шаг далеко не тривиальный!

Наука построена на допущении, что вы слишком глупы и склонны к самообману, чтобы просто использовать соломоновскую индукцию. В конце концов, если бы всё было так просто, нам бы не требовалась наука как социальный институт... верно?

Так что же, вы всё-таки собираетесь верить в фей сверхсветового квантового «коллапса»? Или вы думаете, что вы умнее этого?

*

246. Когда наука бессильна.

Давным-давно у юного Элиезера была одна глупая теория. Допустим, глупая теория Элиезера18 заключалась в том, что сознание порождается замкнутыми времениподобными кривыми, прячущимися в квантовой гравитации. Это далеко не вся история, даже близко нет, но для начала сойдёт.

И в какой-то момент я оглянулся назад и понял:

Сбиваясь с пути, я тщательно следовал всему, что мне преподносили как Традиционно Рациональное. Например, я старался верить только в те глупые теории, которые давали новые экспериментальные предсказания — к примеру, что нейронные микротрубочки поддерживают когерентные квантовые состояния.

Наука была бы совершенно не против, если бы я потратил десять лет, пытаясь проверить свою глупую теорию, только чтобы получить отрицательный экспериментальный результат, — при условии, что в конце я бы сказал: «Что ж, ладно, похоже, моя теория была неверна».

С точки зрения Науки, именно так всё и должно работать — всеобщее веселье. Ты признал свою ошибку! Молодец! Разве не в этом суть Науки?

Но что, если я не хотел тратить десять лет впустую?

Ну... Науке на это. особо нечего было сказать. Как Наука могла заранее, до экспериментальной проверки, сказать, какая теория верна? Науке плевать, откуда взялась твоя теория — она просто говорит: «Иди и проверь».

В этом великая сила Науки и одновременно её великая слабость.

Gray Area спросил:

Элиезер, почему тебя волнуют непроверяемые вопросы?

Потому что в вопросах, которые можно легко и немедленно проверить, Науке сложно ошибиться.

Я имею в виду, конечно, когда уже есть определённые, однозначные экспериментальные доказательства, следуйте им. С какой стати поступать иначе?

Но иногда вопрос влечёт за собой очень крупные, вполне определённые экспериментальные последствия в будущем — однако вы не можете легко проверить его экспериментально прямо сейчас — и тем не менее существует веский рациональный аргумент.

Макроскопические квантовые суперпозиции легко поддаются проверке: для этого потребовались бы лишь нанотехнологическая точность, очень низкие температуры и хороший чистый участок межзвёздного пространства. О, конечно, вы не можете сделать этого прямо сейчас, потому что это слишком дорого или невозможно при сегодняшнем уровне технологий, или что-то в этом роде — но теоретически, конечно! Да что там, возможно, однажды целые цивилизации будут работать на квантовых компьютерах в макроскопической суперпозиции где-нибудь в тщательно расчищенном секторе Великой Пустоты. (Вопрос о том, что квантовый нереализм говорит о статусе любых наблюдателей внутри этих компьютеров, помогает вскрыть недостаточную проработанность квантового нереализма.)

Полагаю, это не кажется непосредственно важным для вашей повседневной жизни в прагматическом смысле, но это задаёт паттерн: не всё, что имеет последствия в будущем, можно дёшево проверить сейчас.

Эволюционная психология — ещё один пример того, когда рациональность должна перехватить инициативу у науки. Хотя теории эволюционной психологии образуют единое связное целое, лишь некоторые из них легко проверить экспериментально. Но вам всё равно нужны остальные части теории, потому что они образуют связную сеть, которая помогает формулировать гипотезы, поддающиеся реальной проверке — и тогда вспомогательные гипотезы получают подтверждение в байесовском смысле, но не получают его экспериментально. Наука вынесла бы вердикт «не доказано» в отношении отдельных частей связной теоретической сети, которая в целом экспериментально продуктивна. Для этого нам понадобился бы вердикт нового типа, что-то вроде «косвенно подтверждено».

Или как насчёт крионики?

Крионика — хрестоматийный пример крайне важной проблемы (ежедневно умирает 150 000 человек), которая будет иметь огромные последствия в обозримом будущем, но не предлагает определённых, однозначных экспериментальных доказательств, которые мы можем получить прямо сейчас.

Так скажете ли вы: «Я не верю в крионику, потому что она не была доказана экспериментально, а верить в то, что не доказано экспериментально, нельзя»?

Что ж, с байесовской точки зрения это неверно. Отсутствие доказательств является доказательством отсутствия лишь в той мере, в какой мы могли бы разумно ожидать появления этих доказательств. Если кто-то трубит о том, что змеиное масло лечит рак, вы вполне логично можете ожидать, что, если бы змеиное масло действительно излечивало рак, какой-нибудь учёный провёл бы контролируемое исследование для проверки этого — или, как минимум, врачи описывали бы случаи удивительного выздоровления, — и потому отсутствие таких свидетельств служит сильным доказательством отсутствия эффекта. Но «белые пятна в палеонтологической летописи» не являются сильным аргументом против эволюции; окаменелости формируются редко, и даже если промежуточный вид действительно существовал, нельзя с высокой вероятностью ожидать, что природа услужливо сохранит его в виде окаменелости, а человек эту окаменелость найдёт.

Оживление замороженного млекопитающего — это попросту не то, что вы рассчитывали бы сделать при помощи современных технологий, даже если нанотехнологии будущего действительно способны провести успешное оживление. Именно так, на мой взгляд, видит это Байес.

Да, и что касается реальных аргументов за крионику — сейчас я не буду в них углубляться. Но если вы следили за цепочками о физике и антизомби, теперь вам должно казаться гораздо более правдоподобным, что всё, сохраняющее структуру синапсов, сохраняет столько же от «вас», сколько сохраняется от момента засыпания ночью до пробуждения утром.

Хотя, справедливости ради, тот, кто говорит: «Я не верю в крионику, потому что она не доказана экспериментально», неверно применяет правила Науки; это не тот случай, когда наука действительно даёт неверный ответ. В отсутствие окончательной экспериментальной проверки вердикт науки здесь — «Не доказано». Любой, кто трактует это как отрицание, делает лишний шаг за пределы науки, а не ошибку внутри неё.

На странице Джона Маккарти в Викицитатнике приводится его высказывание: «Ваши утверждения сводятся к тому, что если ИИ возможен, то это должно быть легко. С чего бы это?»1 Викицитатник умалчивает, на что именно отвечал Маккарти, но я могу рискнуть