Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

99. Генетическая ошибка.

В списках логических ошибок вы найдете «генетическую ошибку» — ошибку, заключающуюся в нападках на убеждение на основании причин, по которым кто-то в него верит.

На первый взгляд это очень странная мысль: если причины убеждения не определяют его систематическую надежность, то что же определяет? Если Deep Blue предлагает нам шахматный ход, мы доверяем ему, основываясь на нашем понимании кода, который перебирает дерево игры, поскольку сами оценить это дерево не в состоянии. Что еще может дать право считать оценку вероятности «рациональной», кроме того факта, что она была получена в результате какого-то систематически надежного процесса?

В статьях о генетической ошибке вам скажут, что генетическая аргументация не всегда ошибочна — что происхождение свидетельства может иметь значение для его оценки, как в случае с авторитетным экспертом. Но в других случаях, как пишут в статьях, это действительно ошибка; химик Кекуле впервые увидел кольцевую структуру бензола во сне, но это не значит, что мы никогда не сможем доверять этому убеждению.

Выходит, иногда генетическая ошибка — это ошибка, а иногда нет?

Формально генетическая ошибка действительно является ошибкой, поскольку первоначальная причина убеждения — это не то же самое, что его текущий статус обоснованности, то есть совокупность всех подтверждений и контраргументов, известных на данный момент.

И всё же мы меняем свое мнение реже, чем нам кажется. Генетические обвинения имеют для людей такую силу, какой они не имели бы для идеальных байесовцев.

Очищение разума — мощная эвристика в ситуации, когда вы сталкиваетесь с новым подозрением, что многие ваши идеи могли возникнуть из ненадежного источника.

Стоит идее засесть у нас в голове, и свидетельствам не всегда легко ее оттуда выкорчевать. Вспомните всех тех людей, которые выросли с верой в Библию, позже отвергли (на сознательном уровне) мысль о том, что Библия написана рукой Бога, но тем не менее считают, что Библия содержит незаменимую этическую мудрость. Им не удалось очистить свой разум; они могли бы справиться значительно лучше, если бы сомневались во всем, что написано в Библии, просто потому, что это написано в Библии.

При этом им пришлось бы твердо помнить принцип «глупость наизнанку — это еще не ум»; цель состоит в том, чтобы по-настоящему встряхнуть свой разум и мыслить самостоятельно, а не в том, чтобы просто отрицать Библию и делать из этого отрицания свой алгоритм.

Стоит идее попасть вам в голову, как вы начинаете находить ей подтверждения повсюду — и поэтому, когда первоисточник внезапно попадает под подозрение, с вашей стороны будет очень разумно заподозрить и все листья, которые изначально выросли на этой ветви...

Если у вас получится! Очистить разум не так-то просто. Требуется колоссальное усилие, чтобы действительно пересмотреть свои взгляды, вместо того чтобы позволить своему уму скатиться к повторению кэшированных аргументов. «Это не настоящий кризис веры, если дело с равным успехом не может повернуться в любую сторону», — сказал Тор Шенкель.

Вам следует крайне насторожиться, если у вас есть множество идей, подсказанных источником, который, как вы теперь знаете, не заслуживает доверия, но — надо же! — похоже, все эти идеи в итоге всё равно оказались верными (Библия здесь — очевидный архетипический пример).

С другой стороны... существуют настолько однозначные свидетельства, что происхождение идеи уже не играет существенной роли. Накопление таких однозначных свидетельств — это то, в чём заключается суть Науки. Больше не важно, что Кекуле впервые увидел кольцевую структуру бензола во сне — было бы не важно, даже если бы мы нашли гипотезу для проверки, генерируя случайные компьютерные изображения, или услышали её от спиритиста, разоблаченного как мошенник, или даже прочитали в Библии. Кольцевая структура бензола подтверждена достаточным количеством экспериментальных свидетельств, чтобы источник этой догадки потерял всякое значение.

В отсутствие таких однозначных свидетельств вам действительно нужно обращать внимание на первоисточники идей: оказывать экспертам больше доверия, чем неспециалистам (если их область заслужила уважение); подозревать идеи, которые вы изначально получили из сомнительных источников; не доверять тем, чьи мотивы сомнительны, если они не могут представить аргументы, не зависящие от их собственного авторитета.

Генетическая ошибка действительно оказывается ошибкой, когда существуют обоснования помимо самого факта её происхождения, но генетическое обвинение преподносится так, будто оно закрывает вопрос. Хэл Финни предлагает называть корректное обращение к происхождению утверждения «генетической эвристикой».

Несколько полезных практических правил (для людей):

Относитесь с подозрением к генетическим обвинениям против убеждений, которые вам не нравятся, особенно если сторонник убеждения приводит обоснования, выходящие за рамки простого авторитета источника. «Полет — это религиозная идея, поэтому братья Райт, должно быть, лжецы» — один из классических примеров.

Точно так же не думайте, что сможете получить качественную информацию по техническому вопросу, просто с глубокомысленным видом подвергая психоанализу личности участников и их порочные мотивы. Если существуют технические аргументы, приоритет отдается им.

Когда под подозрение попадает один из ваших фундаментальных источников, вам действительно следует подвергнуть сомнению все ветви и листья, выросшие из этого корня. Это не дает вам права с ходу отвергать эти выводы, поскольку глупость наизнанку — это еще не ум, но...

Насторожитесь до крайности, если обнаружите, что по-прежнему верите ранним идеям источника, который вы впоследствии отвергли.

*

Часть J. Спирали смерти.

100. Эвристика аффекта.

Эвристика аффекта — это явление, при котором субъективные впечатления о «хорошем» и «плохом» выступают в роли эвристики — источника быстрых, перцептивных суждений. Приятные и неприятные чувства лежат в основе человеческого мышления, и эвристика аффекта порождает восхитительные когнитивные искажения — одни из моих любимых.

Начнем с относительно менее безумного искажения. Вы собираетесь переезжать в другой город, и вам нужно переслать старинные напольные часы. В первом случае эти часы подарили вам бабушка с дедушкой на пятилетие. Во втором случае часы достались вам от дальнего родственника, и никаких особых чувств вы к ним не испытываете. Сколько бы вы заплатили за страховку, которая выплатит 100 долларов, если часы потеряются при транспортировке? Согласно исследованиям Си и Кунройтера, в первом случае испытуемые заявляли о готовности заплатить более чем вдвое больше.1 Это может показаться рациональным — почему бы не заплатить больше ради защиты более ценной вещи? — пока вы не поймете, что страховка вовсе не защищает часы. Она просто выплачивает