Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

те убеждения, которые, казалось бы, изящно объясняют наши наблюдения, не застрахованы от этой проблемы. Нам слишком легко увидеть туманную, научно звучащую (или иным образом авторитетную) фразу и сделать вывод, что она что-то «объяснила» — даже если это никак не влияет на шансы, которые мы неявно приписываем нашему возможному будущему опыту.

Хуже всего то, что прозаические убеждения — те, которые в самом деле опровержимы в принципе, те, которые действительно накладывают ограничения на то, что мы ожидаем увидеть, — все равно могут засесть в нашей голове, подкрепляемые целой сетью иллюзий и когнитивных искажений.

В 1951 году футбольный матч между Дартмутом и Принстоном выдался необычайно жестким. Психологи Хасторф и Кантрил спросили студентов обоих учебных заведений, кто начал грубую игру. Почти все согласились, что Принстон её не начинал; но 86% принстонских студентов считали, что виноват Дартмут, тогда как лишь 36% дартмутских студентов винили Дартмут. (Большинство студентов Дартмута считали, что «начали оба».)

Нет причин думать, что это был лишь возглас поддержки, а не настоящее убеждение. Различные убеждения, вероятно, заставляли студентов делать разные прогнозы относительно поведения игроков в будущих матчах. И тем не менее каким-то образом совершенно обычные фактические убеждения в Дартмуте кардинально отличались от совершенно обычных фактических убеждений в Принстоне.

Можно ли списать это на разные источники информации, к которым имели доступ студенты Дартмута и Принстона? Сама по себе предвзятость различных источников новостей, на которые опираются группы, — довольно серьезная проблема.

Однако в данном случае дело не только в этом. Когда позже им действительно показали запись матча и попросили подсчитать замеченные ими нарушения, дартмутские студенты насчитали в среднем 4,3 нарушения со стороны своей команды (и половину из них сочли «легкими»), тогда как принстонские студенты насчитали в среднем 9,8 нарушений со стороны Дартмута (и лишь треть сочли «легкими»).

Что уж говорить о попытках примирить соперничающие фракции в сложных вопросах государственной политики или моральной философии; студенты с разной групповой лояльностью не могли сойтись во мнениях даже относительно того, что они видели собственными глазами.3

Когда что-то дорогое для нас оказывается под угрозой — наше мировоззрение, наша ингруппа, наше социальное положение или что-либо еще, — наши мысли и восприятие мобилизуются на их защиту.4,5 Некоторые психологи в наши дни доходят до гипотезы, что наша способность находить явные обоснования для собственных выводов развилась специально для того, чтобы помогать нам побеждать в спорах.6

Одно из определяющих открытий психологии XX века, вдохновлявшее всех — от последователей Фрейда до современных когнитивных психологов, — заключается в том, что поведением человека часто управляют сложные бессознательные процессы, а истории, которые мы рассказываем себе о наших мотивах и причинах, гораздо более предвзяты и вымышлены, чем мы осознаем.

На самом деле мы часто даже не замечаем, что сочиняем эти истории. Когда нам кажется, будто при интроспекции мы «напрямую воспринимаем» что-то в себе, это зачастую опирается на весьма слабые неявные причинно-следственные модели.7,8 Когда мы пытаемся аргументировать свои убеждения, мы можем выстраивать шаткие рассуждения, не имеющие никакого отношения к тому, как мы изначально пришли к этому убеждению.9 Вместо того чтобы оценивать наши объяснения по их предсказательной силе, мы придумываем истории, чтобы как-то осмыслить то, что нам кажется известным.

Как нам справиться лучше? Как нам прийти к реалистичному взгляду на мир, когда наш разум так склонен к рационализации? Как нам прийти к реалистическому взгляду на нашу ментальную жизнь, когда наши мысли о мышлении тоже вызывают подозрение? Как нам стать менее предвзятыми, когда наши попытки избавиться от предвзятости сами могут оказаться предвзятыми?

На какую наименее шаткую опору мы можем перенести свой вес?

Математика рациональности

На рубеже XX века создание простых (например, теоретико-множественных) аксиом арифметики дало математикам более четкий стандарт для оценки правильности своих выводов. Если человек или калькулятор выдает «2 + 2 = 4», теперь мы можем сделать больше, чем просто сказать «интуитивно это кажется верным». Мы можем объяснить, почему это правильно, и доказать, что эта правильность систематически связана с правильностью всей остальной арифметики.

Но математика и логика позволяют нам моделировать поведение физических систем, которые гораздо интереснее карманного калькулятора. Мы также можем формализовать рациональное убеждение в целом, используя теорию вероятностей для выявления общих черт, присущих всем успешным формам умозаключений. Мы можем даже формализовать рациональное поведение в целом, опираясь на теорию принятия решений.

Теория вероятностей определяет, как мы рассуждали бы в идеале в условиях неопределенности, будь у нас время, вычислительные мощности и самоконтроль. Располагая некоторыми фоновыми знаниями (априорными убеждениями) и новыми свидетельствами, теория вероятностей однозначно определяет наилучший набор новых убеждений (апостериорные убеждения), которые я мог бы принять. Аналогичным образом, теория принятия решений определяет, какие действия мне следует предпринять на основе моих убеждений. Для любого непротиворечивого набора убеждений и предпочтений, которые у меня могут быть относительно Боба, существует ответ с точки зрения теории принятия решений о том, как мне следует действовать, чтобы удовлетворить свои предпочтения.

Люди не являются идеальными мыслителями или безупречными субъектами принятия решений, точно так же, как мы не являемся идеальными калькуляторами. Наш мозг — это нагромождение костылей, наспех собранное естественным отбором. Даже в свои лучшие моменты мы не вычисляем абсолютно точный ответ на вопросы «что мне думать?» и «что мне делать?». Нам не хватает времени и вычислительной мощности, а эволюции не хватило инженерного мастерства и предвидения, чтобы устранить все наши баги.

На самом деле даже максимально эффективному, свободному от багов мыслителю в реальном мире все равно пришлось бы полагаться на эвристики и приближения. Оптимальные, вычислительно доступные алгоритмы обновления убеждений не дотягивают до строгой непротиворечивости теории вероятностей.

И все же, зная, что мы не можем стать полностью последовательными, мы определенно можем стать лучше. Знание того, что существует идеальный стандарт, с которым мы можем себя сравнить — то, что исследователи называют «байесовской рациональностью», — может служить нам ориентиром в совершенствовании наших мыслей и действий. Хотя мы никогда не станем идеальными байесианцами, математика рациональности может помочь нам понять, почему тот или иной ответ правильный, и помочь обнаружить, где именно мы ошиблись.

Представьте, что вы пытаетесь учить математику исключительно путем зубрежки. Вам могут сказать, что «10 + 3 = 13», «31 + 108 = 139» и так далее, но это не принесет вам особой пользы, если вы не понимаете закономерности, стоящей за этими закорючками. Искать методы повышения собственной рациональности может быть гораздо труднее, если у вас