Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

различие между живой и неживой материей объяснялось наличием élan vital или vis vitalis. Élan vital наполняла живую материю и заставляла её двигаться повинуясь сознательной воле. Élan vital участвовала в химических превращениях, на которые были не способны простые неживые частицы — осуществленный позже Вёлером синтез мочевины (компонента мочи) нанёс сокрушительный удар по виталистической теории, показав, что обычная химия способна воссоздать продукт биологического происхождения.

Назвать «élan vital» объяснением — даже ложным, подобно флогистону — это, пожалуй, слишком много чести. Эта концепция служила главным образом «тупиком для любопытства». Вы спрашивали: «Почему?», а в ответ слышали: «Élan vital!»

Когда вы говорите «Élan vital!», вам кажется, будто вы знаете, почему движется ваша рука. В вашей голове возникает простая причинно-следственная схема:

Но на самом деле вы не узнали ничего нового. Вы не знаете, к примеру, будет ли ваша рука выделять тепло или поглощать его, если только вы уже не наблюдали это на практике; а если нет, вы не сможете предсказать это заранее. Ваше любопытство чувствует себя удовлетворенным, но его никто не накормил. Поскольку вы можете сказать: «Почему? Élan vital!» в ответ на любое возможное наблюдение, это объяснение одинаково хорошо подходит для любого исхода — замаскированная гипотеза максимальной энтропии и так далее.

Но гораздо более важный урок кроется в том благоговении, с которым виталисты относились к élan vital, в их стремлении объявить её тайной за пределами любой науки. Столкнувшись с великим драконом по имени Неведомое, виталисты не обнажили мечи для битвы, а покорно склонили головы. Они гордились своим невежеством, превратили биологию в священное таинство и из-за этого крайне неохотно расставались со своим невежеством, когда в их дверь стучались факты.

Тайна Жизни находилась бесконечно далеко за пределами досягаемости науки! Заметьте, не просто чуть-чуть за ними, а бесконечно далеко! Лорд Кельвин явно испытывал колоссальный эмоциональный восторг от того, что чего-то не знал.

Но невежество существует на карте, а не на территории. Если я чего-то не знаю о явлении, это факт, характеризующий состояние моего разума, а не само явление. Явление может казаться таинственным какому-то конкретному человеку. Но не существует явлений, таинственных самих по себе. Боготворить явление за то, что оно кажется столь удивительно загадочным — значит боготворить собственное невежество.

Витализм разделял с флогистоном одну и ту же ошибку — инкапсуляцию тайны в виде вещества. Огонь был загадкой, и теория флогистона инкапсулировала эту загадку в таинственное вещество под названием «флогистон». Жизнь была священной тайной, и витализм инкапсулировал эту священную тайну в таинственное вещество под названием «élan vital». Ни тот, ни другой ответ не помогал сконцентрировать плотность вероятности модели — то есть сделать одни исходы более простыми для объяснения, чем другие. Такое «объяснение» просто заворачивало вопрос в маленький, твердый, непрозрачный черный шарик.

В комедии Мольера врач объясняет усыпляющее действие снотворного тем, что оно обладает «усыпительной силой». Тот же принцип. Изъян человеческой психологии состоит в том, что, сталкиваясь с загадочным явлением, мы гораздо охотнее постулируем наличие таинственных внутренних веществ, нежели сложные лежащие в его основе процессы.

Но еще более глубокая ошибка кроется в предположении, будто ответ может быть таинственным. Если явление кажется загадочным, это факт, касающийся состояния наших знаний, а не самого явления. Виталисты увидели загадочный пробел в своих знаниях и постулировали наличие некоего таинственного вещества, затыкающего эту брешь. Поступив так, они перепутали карту с территорией. Любое замешательство и недоумение существуют лишь в сознании, а не внутри инкапсулированных веществ.

В этом заключается окончательное и универсальное объяснение того, почему снова и снова в истории человечества люди с изумлением обнаруживают, что невероятно таинственный вопрос имеет вовсе не таинственный ответ. Таинственность — это свойство вопросов, а не ответов.

Поэтому теории вроде витализма я называю таинственными ответами на таинственные вопросы.

Вот признаки таинственных ответов на таинственные вопросы:

Во-первых, такое объяснение служит тупиком для любопытства, а не регулятором ожиданий.

Во-вторых, у гипотезы нет движущихся частей: модель представляет собой не конкретный сложный механизм, а абсолютно монолитную субстанцию или силу. О таинственной субстанции или силе можно говорить, что она находится здесь или там, что она вызывает то или иное; но причина, по которой эта таинственная сила ведет себя именно так, скрыта в её неделимом единстве.

В-третьих, те, кто предлагает подобное объяснение, лелеют свое невежество; они с гордостью рассуждают о том, как это явление ставит в тупик обычную науку или насколько оно непохоже на простые повседневные вещи.

В-четвертых, даже после того, как ответ получен, явление все равно остается загадкой и сохраняет все то же свойство поразительной необъяснимости, что и в самом начале.

*

Сильванус Филлипс Томпсон, Жизнь лорда Кельвина (Американское математическое общество, 2005).

36. Тщетность эмерджентности.

Провалы флогистона и витализма очевидны лишь в исторической ретроспективе. Осмелюсь ли я пойти на риск и назвать некую современную теорию, которую считаю столь же несостоятельной?

Я назову эмерджентность или эмерджентные явления — обычно определяемые как изучение систем, чьё высокоуровневое поведение проистекает или «эмерджирует» из взаимодействия множества низкоуровневых элементов. (Википедия: «Процесс возникновения сложных систем и паттернов из множества относительно простых взаимодействий».) Буквально говоря, это описание подходит для любого явления в нашей вселенной уровнем выше отдельных кварков, и в этом часть проблемы. Представьте, что вы указываете на обвал рынка и говорите: «Это не кварк!» Разве это похоже на объяснение? Нет? Тогда и фраза «Это эмерджентное явление!» тоже не должна казаться объяснением.

Я протестую именно против существительного «эмерджентность», а не против словосочетания «возникает из». Нет ничего плохого в утверждении «Х возникает из Y», если под Y понимается конкретная детальная модель с внутренними движущимися деталями. «Проистекает из» — ещё одна правомерная формулировка, означающая ровно то же самое: гравитация проистекает из искривления пространства-времени согласно конкретной математической модели общей теории относительности. Химия проистекает из взаимодействий между атомами согласно конкретной модели квантовой электродинамики.

А теперь представьте, что я скажу, будто гравитация объясняется «проистекаемостью», а химия — это «проистекающее явление», и выдам это за объяснение.

Фраза «возникает из» приемлема — точно так же, как приемлемы фразы «проистекает из» или «вызывается тем-то», — если за ней следует какая-то конкретная модель, достоинства которой можно оценить.

Однако обычно слово «эмерджентность» используется не так. «Эмерджентность» часто используют как самостоятельное объяснение.

Я уже сбился со счёта, сколько раз слышал фразу: «Интеллект