Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

проблеме калибровки экспертов, объясняя: «Вот когда эксперт заявляет, что уверен на 99%, он оказывается прав только в 70% случаев». Затем возникла пауза, во время которой я вдруг осознал, что разговариваю со своей мамой, и поспешно добавил: «Конечно, нужно следить за тем, чтобы применять этот скептицизм беспристрастно, в том числе и к себе, а не просто использовать его как аргумент против всего, с чем ты не согласна...»

И мама ответила: «Ты шутишь? Это же здорово! Буду пользоваться этим постоянно!»

В статье Табера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» описывается подтверждение шести предсказаний:1

Эффект априорной установки. Испытуемые, имеющие твердое мнение по какому-либо вопросу — даже когда их просят быть объективными, — будут оценивать подтверждающие аргументы более благосклонно, чем опровергающие.

Склонность к опровержению. Испытуемые тратят больше времени и когнитивных ресурсов на дискредитацию противоположных аргументов, нежели подтверждающих.

Склонность к подтверждению. Испытуемые, вольные выбирать источники информации, будут искать подтверждающие, а не опровергающие источники.

Поляризация мнений. Предъявление испытуемым сбалансированного набора аргументов «за» и «против» лишь усиливает их первоначальную поляризацию.

Эффект силы установки. Испытуемые, выражающие более твердые убеждения, будут более склонны к вышеперечисленным искажениям.

Эффект искушенности. Политически эрудированные испытуемые, поскольку они обладают более богатым арсеналом аргументов для оспаривания несовместимых с их позицией фактов и доводов, будут более склонны к вышеперечисленным искажениям.

Если вы изначально иррациональны, то большее количество знаний может вам навредить. Для истинного байесовца информация никогда не имела бы отрицательной ожидаемой полезности. Но люди — не идеальные мастера байесовского анализа; если мы не будем осторожны, мы можем порезаться.

Я видел людей, которым их собственные знания о когнитивных искажениях сильно навредили. У них появляется больше оружия, чтобы оспаривать всё, что им не нравится. И эта проблема — избыток готового оружия — один из главных путей, по которым люди с высокой подвижностью ума оказываются глупыми, в смысле «дисрациональности» Становича.

Вы ведь можете вспомнить людей, подходящих под это описание? Людей с высоким g-фактором, которые в итоге оказываются менее эффективными, потому что они слишком искушенные спорщики? Как вы думаете, поможете ли вы им — сделаете ли их более эффективными рационалистами, — если просто расскажете им о списке классических когнитивных искажений?

Я помню одного человека, который узнал о проблеме калибровки и сверхуверенности. Вскоре после этого он заявил: «Что ж, экспертам доверять нельзя; они так часто ошибаются — как показали эксперименты. И поэтому, прогнозируя будущее, я предпочитаю исходить из того, что исторические тенденции продолжатся так же, как и раньше...» — и пустился в сложную, чреватую ошибками и крайне сомнительную экстраполяцию. Почему-то, когда дело доходило до веры в его собственные излюбленные выводы, все эти искажения и ошибки казались гораздо менее заметными — всплывали в памяти гораздо менее охотно, — чем когда ему нужно было опровергнуть чьи-то чужие аргументы.

Я рассказал ему о проблеме склонности к опровержению и об искушенном споре, и что бы вы думали — в следующий раз, когда я сказал что-то, что ему не понравилось, он обвинил меня в том, что я «искушенный спорщик». Он даже не попытался указать на какой-то конкретный изощренный довод или ошибку — просто покачал головой и грустно вздохнул о том, что я, судя по всему, использую собственный интеллект против него же самого. Он обзавелся еще одним Полностью Универсальным Контраргументом.

Даже само понятие «искушенный спорщик» может стать губительным, если оно слишком легко всплывает в памяти, стоит вам столкнуться с вроде бы умным человеком, который говорит то, что вам не нравится.

Я стараюсь учиться на своих ошибках. В прошлый раз, когда я читал лекцию по эвристикам и когнитивным искажениям, я начал с объяснения общей концепции на примере ошибки конъюнкции и эвристики репрезентативности. Затем я перешел к склонности к подтверждению, склонности к опровержению, искушенному спору, мотивированному скептицизму и другим эффектам установок. Следующие тридцать минут я вдалбливал эту тему, раскрывая ее со всех возможных ракурсов.

Я хотел заинтересовать слушателей этой темой. Что ж, простого описания ошибки конъюнкции и репрезентативности для этого вполне хватило бы. Но предположим, они действительно заинтересовались. Что дальше? Литература о когнитивных искажениях в основном представляет собой когнитивную психологию ради когнитивной психологии. Я должен был высказать своим слушателям все эти суровые предостережения за одну-единственную лекцию, иначе они, скорее всего, никогда бы их не услышали.

Пишу ли я об этом или выступаю устно, теперь я стараюсь никогда не упоминать калибровку и сверхуверенность, не рассказав предварительно о склонности к опровержению, мотивированном скептицизме, искушенных спорщиках и дисрациональности людей с подвижным умом. Прежде всего — не навреди!

*

1. Чарльз С. Табер и Милтон Лодж, «Motivated Skepticism in the Evaluation of Political Beliefs», American Journal of Political Science 50, no. 3 (2006): 755–769, doi:10.1111/j.1540-5907.2006.00214.x.

68. Обновляйте свои убеждения постепенно.

Политика — убийца разума. Споры — это война, аргументы — солдаты. Возникает искушение искать способы истолковать любой возможный результат эксперимента так, чтобы он подтвердил вашу теорию, словно вы укрепляете цитадель от любого возможного направления атаки. Но этого вы сделать не можете. Это математически невозможно. Для каждого ожидания свидетельства существует равное ему и противоположное ожидание контрсвидетельства.

Но нет ничего страшного, если ваше заветное убеждение защищено не идеально. Если гипотеза состоит в том, что монета выпадает орлом в 95% случаев, то в одном случае из двадцати вы будете ожидать увидеть нечто, похожее на опровержение. Это нормально. Это естественно. Это даже ожидаемо — при условии, что на каждое противоречащее наблюдение приходится девятнадцать подтверждающих. Вероятностная модель может выдержать удар-другой и всё равно уцелеть, если только эти удары не продолжают сыпаться.

И всё же широко распространено убеждение — особенно на суде общественного мнения, — что истинная теория не может иметь никаких провалов, а ложная — никаких успехов.

Часто можно встретить людей, которые выставляют напоказ единственный факт, который они считают свидетельством, и утверждают, что их теория способна его «объяснить» — как будто это вся поддержка, которая вообще требуется любой теории. Судя по всему, они думают, будто у ложной теории не может быть никаких подтверждающих свидетельств, будто ложная теория не способна соответствовать даже единичному событию. Следовательно, одного-единственного подтверждения достаточно для любой теории.

Лишь немногим менее глупо выставлять единичное вероятностное контрсвидетельство в качестве опровержения, как будто у верной теории не может быть даже малейшего аргумента против неё. Но именно так люди