Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Рациональность на практике

В посте в блоге, где обсуждалось, чем «рационалисты» — сторонники рациональности отличаются от «рационалистов» — противников эмпиризма, Скотт Александер заметил:10

[О]чевидно, что полезно иметь как можно больше свидетельств, точно так же, как полезно иметь как можно больше денег. Но столь же очевидно, что полезно уметь разумно распоряжаться ограниченным количеством свидетельств, точно так же, как полезно уметь разумно распоряжаться ограниченным количеством денег.

Техники рациональности помогают нам извлечь больше пользы из имеющихся у нас свидетельств в тех случаях, когда эти свидетельства неоднозначны или когда наши предубеждения и привязанности искажают их интерпретацию. Это применимо к нашей личной жизни, как в истории о Бобе. Это применимо к разногласиям между политическими фракциями (и спортивными болельщиками). И это применимо к технологическим и философским загадкам, например к спорам о трансгуманизме — позиции, согласно которой нам следует использовать технологии для радикального преобразования человеческой природы. Признавая, что ко всем этим областям применимы одни и те же математические законы — и что во многих случаях там властвуют одни и те же когнитивные искажения, — книга «Как на самом деле изменить свое мнение» обращается к самому широкому кругу примеров.

Первая цепочка эссе в книге «Как на самом деле изменить свое мнение», «Слишком удобные оправдания», посвящена вопросам, которые с точки зрения теории вероятностей ясны настолько, насколько это вообще возможно. Оптимальный по Байесу ответ часто невозможно вычислить на практике, но такие ошибки, как предвзятость подтверждения, могут укорениться даже тогда, когда имеющиеся свидетельства неоспоримы, а времени на размышления у нас предостаточно.

Отсюда мы переходим в более мутные воды в цепочке «Политика и рациональность». Общенациональная политика, обсуждаемая телеэкспертами, славится своими яростными и бесплодными дискуссиями. На первый взгляд, в этом есть что-то удивительное. Почему мы принимаем политические разногласия так близко к сердцу, даже когда механизмы и последствия государственной политики столь далеки от нас в пространстве или времени? И почему, если уж на то пошло, мы не становимся более аккуратными и строгими в оценке свидетельств, когда имеем дело с вопросами, которые считаем важными?

Игра Дартмута против Принстона намекает на ответ. Большая часть нашего мыслительного процесса — это на самом деле рационализация, то есть сочинение историй, которые заставляют наши текущие убеждения казаться более связными и обоснованными, но при этом не обязательно делают их более точными. Цепочка «Против рационализации» обращается к этой проблеме, за ней следуют «Против двоемыслия» (о самообмане) и «Взгляд свежими глазами» (о трудности распознавания свидетельств, которые не соответствуют нашим ожиданиям и предположениям).

Повышение уровня рациональности означает знакомство со множеством интересных и сильных новых идей. Во многих случаях это также означает появление друзей, с которыми можно обсудить эти идеи, и поиск сообществ, стимулирующих к самосовершенствованию. В цепочке «Смертельные спирали» обсуждаются некоторые серьезные опасности, которые могут угрожать группам, объединенным общими интересами и блестящими идеями; эти опасности необходимо преодолеть, если мы хотим извлечь максимальную пользу из сообществ рационалистов. Затем книга «Как на самом деле изменить свое мнение» завершается цепочкой «Умение отпускать».

Наше естественное состояние вовсе не в том, чтобы менять свое мнение подобно байесианцу. Заставить студентов Дартмута и Принстона заметить то, что они видят на самом деле, будет не так просто, как зачитать им аксиомы теории вероятностей. Как пишет Люк Мюльхаузер в статье «Сила агентности»:11

Вы не байесовский гомункул, чье мышление «испорчено» когнитивными искажениями.

Вы и есть когнитивные искажения.

Предвзятость подтверждения, склонность к сохранению статус-кво, искажение соответствия и им подобные не пристроены к нашему мышлению сбоку — они составляют саму его суть.

Это не означает, что устранение когнитивных искажений невозможно. Глубоко внутри, под всеми нашими арифметическими ошибками, мы тоже не являемся идеальными калькуляторами. Многие из наших математических ограничений проистекают из очень глубоких особенностей работы человеческого мозга. И тем не менее мы можем тренировать свои математические способности; мы можем научиться понимать, когда стоит и когда не стоит доверять своим математическим интуициям, делиться знаниями и помогать друг другу; мы можем организовывать окружающую среду так, чтобы облегчить себе задачу, и создавать инструменты, которые возьмут на себя большую часть работы.

Наши когнитивные искажения — часть нас самих. Но в нас присутствует и тень байесианства, несовершенный аппарат, который действительно способен приблизить нас к истине. Никакого гомункула, но все же — крупица истины. Достаточно, пожалуй, для начала.

*

1. Робин Хансон, «You Are Never Entitled to Your Opinion», Overcoming Bias (блог) (2006), http://www.overcomingbias.com/2006/12/you_are_never_e.html.

2. Это следует из предположения, что существует шесть возможностей и у вас нет оснований отдавать предпочтение какой-то одной из них. Мы также нереалистично предполагаем, что вы действительно можете быть уверены, что тайный поклонник — один из этих шести человек, и что вы не упускаете из виду другие варианты. (Что если в вас влюблен более чем один человек из этих шести?)

3. Альберт Хасторф и Хэдли Кэнтрил, «They Saw a Game: A Case Study», Journal of Abnormal and Social Psychology 49 (1954): 129–134, http://www2.psych.ubc.ca/~schaller/Psyc590Readings/Hastorf1954.pdf.

4. Пронин, «How We See Ourselves and How We See Others».

5. Роберт П. Валлоне, Ли Росс и Марк Р. Леппер, «The Hostile Media Phenomenon: Biased Perception and Perceptions of Media Bias in Coverage of the Beirut Massacre», Journal of Personality and Social Psychology 49 (1985): 577–585, http://ssc.wisc.edu/~jpiliavi/965/hwang.pdf.

6. Юго Мерсье и Дэн Спербер, «Why Do Humans Reason? Arguments for an Argumentative Theory», Behavioral and Brain Sciences 34 (2011): 57–74, https://hal.archives-ouvertes.fr/file/index/docid/904097/filename/MercierSperberWhydohumansreason.pdf.

7. Ричард Э. Нисбетт и Тимоти Д. Уилсон, «Telling More than We Can Know: Verbal Reports on Mental Processes», Psychological Review 84 (1977): 231–259, http://people.virginia.edu/~tdw/nisbett&wilson.pdf.

8. Эрик Швицгебель, Perplexities of Consciousness (MIT Press, 2011).

9. Джонатан Хайдт, «The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment», Psychological Review 108, no. 4 (2001): 814–834, doi:10.1037/0033-295X.108.4.814.

10. Скотт Александер, «Why I Am Not Rene Descartes», Slate Star Codex (блог) (2014), http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/.

11. Люк Мюльхаузер, «The Power of Agency», Less Wrong (блог) (2011), http://lesswrong.com/lw/5i8/the_power_of_agency/.

Часть E. Слишком удобные оправдания.

46. Правильное применение скромности. Общепризнано, что хорошей науке необходима скромность. Какая именно — вопрос гораздо более спорный.