Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

подтвержденные теории. Только помните исторический урок эволюционизма девятнадцатого века и не поддавайтесь искушению ставить крест на любой теории, которая не соответствует хотя бы одному пункту из вашего чек-листа. В мои намерения не входит давать людям очередной повод отвергать хорошую науку, если она доставляет им дискомфорт. Если вы применяете более строгие критерии к теориям, которые вам не нравятся, чем к тем, которые вам по душе (или наоборот!), то каждая новая придирка, которую вы научитесь находить, каждый новый логический изъян, который вы научитесь замечать, делает вас ровно настолько же глупее. Разум, чтобы приносить пользу, должен быть направлен на что-то другое, нежели на борьбу с самим собой.

Один из классических признаков плохой гипотезы заключается в том, что ей приходится тратить огромные усилия во избежание фальсификации — изобретать объяснения, почему гипотеза совместима с явлением, даже если явление повело себя не так, как ожидалось. Карл Саган приводит в пример человека, который утверждает, что в его гараже живет дракон. Саган вынес из этого урок, что плохим гипотезам приходится изворачиваться на ходу, чтобы избежать опровержения — сохранить видимость «соответствия».16

Я бы заметил, что у заявляющего это человека явно имеется хорошая модель ситуации где-то в голове, потому что он может заранее предсказать, какие именно оправдания ему понадобятся. Для байесовца гипотеза — это не то, о чем заявляют громким, уверенным голосом. Гипотеза — это то, что управляет вашими ожиданиями, вероятностями, которые вы приписываете будущему опыту. Именно этим для байесовца вероятность и является — это то, за за что вы получаете очки, то, что вы калибруете. Так что, хотя наш заявитель может громко, уверенно и искренне утверждать, что он верит в невидимого дракона в гараже, он не ожидает увидеть невидимого дракона в гараже — его ожидания полностью совпадают с ожиданиями скептика.

Когда я оцениваю предсказания гипотезы, я спрашиваю, какого опыта я ожидаю, а не в какие факты я буду верить.

Обратная сторона:

Недавно я спорил с другом по одному вопросу теории эволюции. Мой друг утверждал, что кластеризация изменений в палеонтологической летописи (судя по всему, периоды относительного затишья сменяются сравнительно резкими изменениями; само по себе это спорное наблюдение, известное как «прерывистое равновесие») показывает, что с нашим пониманием видообразования что-то не так. Мой друг полагал, что здесь действует некая неведомая сила — не сверхъестественная, а какой-то природный фактор, который стандартная теория эволюции не учитывает. Поскольку мой друг не предложил конкретной альтернативной гипотезы, которая давала бы более точные предсказания, его тезис сводился к тому, что стандартная эволюционная модель глупа по отношению к имеющимся данным — что стандартная модель сделала конкретное неверное предсказание; что эта модель показала себя хуже, чем полное неведение или любой другой соперник по умолчанию.

Сначала я попался в ловушку: я принял неявное допущение, что стандартная модель предсказывает плавность, и строил свои аргументы на воспоминании о том, что изменения в палеонтологической летописи не были столь резкими, как он утверждал. Он предложил мне найти промежуточное эволюционное звено между Homo erectus и Homo sapiens; я погуглил и нашёл Homo heidelbergensis. Он поздравил меня и признал, что я заработал важное очко, но всё же продолжал настаивать на том, что изменения были слишком резкими и недостаточно постепенными. Я начал объяснять, почему, по моему мнению, неравномерный характер изменений мог следовать из стандартной модели: давление отбора со стороны окружающей среды могло быть непостоянным... «Ага! — сказал мой друг. — Ты заранее готовишь оправдания».

Но предположим, что палеонтологическая летопись вместо этого показывала бы плавную и постепенную последовательность изменений. Разве не мог бы мой друг тогда заявить, что стандартная модель эволюции как хаотичный и зашумлённый процесс не способна объяснить подобную плавность? Если заявлять постфактум, будто наша любимая гипотеза предсказывает полученные данные, — это научный грех, то разве не такой же грех утверждать постфактум, будто конкурирующая гипотеза глупа по отношению к этим данным?

Если гипотеза обладает чисто технической моделью, проблем не возникает: мы можем рассчитать предсказания модели формально, без неформальных переменных, за которые можно ухватиться ради манипуляций постфактум. Но как быть с полутехническими теориями? Очевидно, что полутехническая теория должна давать какие-то хорошие предварительные предсказания о чём-то, иначе зачем вообще с ней возиться? Но после того, как теория наполовину подтверждена, могут ли критики заявлять, будто данные указывают на проблему в ней, если эта «проблема» сконструирована постфактум? Как минимум, критики должны предельно конкретно указать, какие именно данные подтверждённая модель предсказывает глупо и почему она обязана делать (постфактум) это глупое предсказание. Насколько резкое изменение количественно является «слишком резким» для стандартной модели эволюции? Какую именно степень постепенности, по-вашему, предсказывает стандартная модель эволюции? Откуда вы это знаете? И не поздно ли говорить об этом после того, как вы уже увидели данные?

Когда мой друг обвинил меня в том, что я придумываю оправдания, я помедлил и спросил себя, какие именно оправдания мне, по моим ожиданиям, придётся придумывать. Я решил, что моё текущее понимание теории эволюции ничего не говорит о том, должна ли скорость эволюционных изменений быть прерывистой и скачкообразной или же плавной и постепенной. Если бы я не видел этот график заранее, я бы не смог его предсказать. (К сожалению, даже этот вердикт я вынес уже после того, как увидел данные...) Возможно, в семействе эволюционных моделей и существуют такие, которые дают предварительные предсказания о постепенности или изменчивости, но если они и есть, мне о них ничего не известно. И что ещё важнее, мой друг тоже этого не знал.

Не всегда разумно спрашивать оппонентов теории о том, что предсказывают их соперники. Узнавайте о предсказаниях теории от лучших её сторонников. Только обязательно записывайте их предсказания заранее. Да, иногда сторонники теории пытаются «подогнать» её под свидетельства, которые явно ей не соответствуют. Но если вы задаётесь вопросом, что предсказывает теория, расспросите сначала её сторонников, а затем попросите критиков устроить перекрёстный допрос.

Кроме того, модели могут содержать шум. Если мы выдвигаем гипотезу, что данные медленно и неуклонно растут, но наш измерительный прибор имеет погрешность в 5%, то нет никакого смысла указывать на точку данных, которая оказалась ниже предыдущей, и торжествующе кричать: «Смотрите! Она пошла вниз! Вниз, вниз, вниз! И не надо объяснять мне, как ваша теория укладывается в этот спад, вы просто ищете оправдания!» Формальные, технические модели часто включают в себя явные слагаемые погрешности. Слагаемое погрешности «размазывает» плотность правдоподобия, снижает точность модели и уменьшает количество очков теории, но байесовское