Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

которые соответствуют увиденному. Если же, видя город нечетко, ты думаешь, что можешь сдвинуть линию чуть правее или чуть левее по своей прихоти, — ты совершаешь точно такую же ошибку».

В Науке, когда дело доходит до решения, какие гипотезы проверять, научная мораль дает вам свободу выбора, во что верить, — до тех пор, пока эта вера еще не опровергнута экспериментом и пока вы предпринимаете шаги для проверки своей гипотезы. Наука не пытается вынести официальный вердикт о наилучшей гипотезе для проверки до проведения эксперимента. Это остается на совести конкретного ученого.

Там, где существуют определенные экспериментальные доказательства, Наука велит вам склонить упрямую шею и принять их. В противном же случае Наука оставляет выбор за вами. Наука дает вам возможность блуждать в пределах экспериментальных доказательств, повинуясь собственным прихотям.

И это не так-то просто примирить с байесовским представлением о единственно верной оценке вероятности — той, что не оставляет места для гибкости или капризов и существует как до, так и после эксперимента. Байесианство плохо сочетается с древним и традиционным смыслом существования Науки — недоверием к великим схемам, презумпцией того, что люди недостаточно рациональны, чтобы прийти к верным выводам без определенных и безошибочных экспериментальных доказательств. Если бы мы все были идеальными байесовцами, мы бы не нуждались в науке как социальном процессе.

Тем не менее, примерно тогда, когда я осознал свою большую ошибку, я также изучал Канемана, Тверски и Джейнса. Я осваивал новый Путь, более строгий, чем Наука. Путь, который мог указать на мою глупость так, как Наука никогда бы не смогла. Путь, который мог сказать мне то, чего Наука никогда бы не сказала заранее: «Ты выбрал не ту гипотезу для проверки, болван».

Но Путь Байеса также гораздо сложнее использовать, чем Науку. Он заставляет изо всех сил напрягать слух, чтобы расслышать крошечную фальшивую ноту, тогда как Наука требует всего лишь заметить упавшую вам на голову наковальню.

В Науке вы можете совершить ошибку-другую, но придёт новый эксперимент и исправит вас; в худшем случае вы потеряете пару десятилетий.

Но если вы попытаетесь использовать байесовский подход хотя бы качественно — попытаетесь делать то, в чём Наука вам не доверяет, и рассуждать рационально в отсутствие неопровержимых свидетельств, — это будет похоже на математику: единственная ошибка на сотню шагов может завести вас куда угодно. Это требует лёгкости, беспристрастности, точности, перфекционизма.

Есть веская причина, почему Наука не доверяет учёным подобные вещи и требует дополнительных экспериментальных подтверждений даже после того, как кто-то заявляет, что вычислил правильный ответ на основе намёков и логики.

Но если вы не хотите тратить десять лет на попытки доказать неверную теорию, вам придётся взяться за решение куда более сложной задачи: прислушиваться к свидетельствам, которые не кричат вам прямо в ухо.

Даже если вы не можете посмотреть априорные вероятности для задачи в «Справочнике по химии и физике» — даже если нет Авторитетного Источника, способного подсказать их вам, — это вовсе не означает, что вы получаете право совершенно свободно, по собственному желанию назначать априорные вероятности какими вздумается. Это значит, что перед вами стоит новая задача по их угадыванию, которую вы должны решить в меру своих способностей.

Если бы разум как когнитивный механизм мог выдавать верные оценки, подгоняя априорные вероятности под свои капризы, вы могли бы узнавать о вещах, не глядя на них, или даже менять их, не прикасаясь. Но разум — это не магия. В рациональной оценке вероятности нет места решениям, продиктованным капризом, даже когда кажется, будто вы понятия не имеете об априорных вероятностях.

Точно так же, если байесовский ответ сложно рассчитать, это не значит, что подход Байеса неприменим; это значит, что вы не знаете, каков этот байесовский ответ. Байесовская теория вероятностей — это не ящик со статистическими инструментами; это закон, управляющий любым применяемым вами методом, независимо от того, знаете вы об этом или нет, можете вы его рассчитать или нет.

Что касается применения байесовских методов к гигантским, обобщённым пространствам гипотез — вроде: «Вот данные всех когда-либо проведённых физических экспериментов; а теперь найдите хорошую Теорию Всего», — то, если бы вы знали, как сделать это на практике, вы были бы не статистиком, а разработчиком общего искусственного интеллекта. Но это не значит, что люди, моделируя Вселенную с помощью своего разума, нарушают законы физики или байесианства, когда выдают верные догадки в отсутствие свидетельств.

Ник Тарлтон комментирует:

Проблема в поощрении личного, эпистемического стандарта, столь же нестрогого, как и общественный.

что формулирует суть проблемы, на которую я пытался указать, гораздо лучше меня.

*

248. Разве ученые этого еще не знают?

poke утверждает:

Умение выдвигать релевантные гипотезы — это важный навык, на развитие которого ученый тратит огромное количество времени. Возможно, это и не входит в традиционное описание науки, но это не значит, что этого нет в реальном социальном институте науки, который производит настоящую, реальную науку в реальном мире; это ваше описание ошибочно, а не наука.

Я знаю, что называл себя в юности «глупым», но это фигура речи; точнее было бы сказать: «неумело обращающийся с высоким интеллектом». У Элиезера18 не было привычки делать очевидные ошибки — просто его «очевидное» не совпадало с моим «очевидным».

Нет, я не проходил традиционного научного ученичества. Но когда я оглядываюсь назад и смотрю на ошибки Элиезера18, я вижу множество современных ученых, совершающих те же самые промахи. И я не нахожу никаких признаков того, что их предупредили лучше, чем меня.

Сэр Роджер Пенроуз — физик мирового класса — до сих пор считает, что сознание порождается квантовой гравитацией. Полагаю, никто и никогда не предостерегал его от таинственных ответов на таинственные вопросы — ему лишь говорили, что его гипотезы должны быть фальсифицируемыми и иметь эмпирические следствия. Точно так же, как и Элиезер18.

Утверждение «Сознание порождается квантовой гравитацией» имеет проверяемые следствия: оно подразумевает, что можно заглянуть в нейроны и обнаружить когерентную квантовую суперпозицию, коллапс которой вносит вклад в обработку информации, и что мы никогда не сможем воспроизвести поведение входа-выхода нейрона с помощью вычислимой микроанатомической симуляции . . .

. . . но даже после того, как вы произнесете «Сознание порождается квантовой гравитацией», вы не сможете предсказать ничего нового о том, как ваш мозг думает «Мыслю, следовательно, существую!», или о загадочной красноте красного — ничего, чего вы не предвидели бы раньше, хотя