Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

97. Мы меняем своё мнение реже, чем думаем

98. Не спешите предлагать решения

99. Генетическая ошибка

J. Спирали смерти

100. Эвристика аффекта

101. Оцениваемость (и дешёвые праздничные покупки)

102. Безграничные шкалы, огромные выплаты по решению суда и футуризм

103. Эффект ореола

104. Предвзятость супергероя

105. Всего лишь мессии

106. Аффективные спирали смерти

107. Сопротивляйтесь счастливой спирали смерти

108. Некритическая сверхкритичность

109. Испарительное охлаждение групповых убеждений

110. Когда никто не смеет призвать к сдержанности

111. Эксперимент «Пещера разбойников»

112. Каждое движение стремится стать культом

113. Стражи истины

114. Стражи генофонда

115. Стражи Айн Рэнд

116. Два коана о культах

117. Эксперимент Аша о конформности

118. О выражении своих опасений

119. Одинокое несогласие

120. Сектантское противосектантство

K. Умение отпускать

121. Важность умения сказать «упс»

122. Предложение безумца

123. Просто потеряйте уже надежду

124. Правильное использование сомнения

125. Вы можете смотреть в лицо реальности

126. Медитация о любопытстве

127. Никто не может освободить вас от законов рациональности

128. Оставьте путь к отступлению

129. Кризис веры

130. Ритуал

Рациональность: Введение.

Роб Бенсингер

Во что мне верить?

Как выясняется, у этого вопроса есть правильный ответ.

Правильный ответ существует и тогда, когда вас терзают сомнения, а не только когда у вас есть неопровержимое доказательство. Всегда существует корректная степень уверенности в утверждении — даже если оно выглядит как «личное убеждение», а не как подтвержденный экспертами «факт».

И все же мы часто рассуждаем так, словно из-за неопределенности и разногласий наши убеждения становятся просто делом вкуса. Мы говорим: «это всего лишь мое мнение» или «каждый имеет право на свое мнение», будто утверждения науки и математики существуют в иной, более высокой плоскости, нежели просто «частные» или «субъективные» убеждения. Но, как пишет Робин Хансон:1

Вы никогда не имеете права на собственное мнение. Никогда! Вы не имеете права даже на «я не знаю». Вы имеете право на свои желания и иногда на свой выбор. Вы можете распоряжаться выбором, и если вы вольны выбирать свои предпочтения, у вас может быть на это право. Но ваши убеждения — не о вас; убеждения — о мире. Ваши убеждения должны быть наилучшей из доступных вам оценок того, как обстоят дела; все остальное — ложь. [. . .]

Действительно, в некоторых областях у экспертов есть более надежные механизмы для разрешения споров. В других же областях наши когнитивные искажения и сложность мира мешают делать однозначные выводы. [. . .]

Но никогда не забывайте: по любому вопросу о том, как обстоят (или должны обстоять) дела, и в любой информационной ситуации, всегда существует наилучшая оценка. Вы имеете право лишь на свои максимально честные усилия по поиску этой наилучшей оценки; все остальное — ложь.

Предположим, вы узнали, что кто-то из шести человек в вас влюблен — возможно, вы получили письмо от тайного поклонника и точно знаете, что его отправил один из этих шестерых, — но вы понятия не имеете, кто именно. Ваш одноклассник Боб — один из шести кандидатов, но у вас нет никаких особых свидетельств ни за, ни против того, что это именно он. В таком случае шансы, что в вас влюблен Боб, равны 1:5.

Поскольку существует шесть вариантов, при случайном угадывании вы в среднем окажетесь правы один раз на каждые пять промахов. Именно это мы и имеем в виду под «шансами 1:5». Вы не можете сказать: «Ну, я понятия не имею, кто в меня влюблен; может, Боб, а может, и нет. Так что буду считать, что шансы пятьдесят на пятьдесят». Даже если вам больше хочется сказать «не знаю» или «может быть» и на этом успокоиться, правильный ответ — все равно 1:5.2

Предположим также, что вы заметили: люди подмигивают вам в десять раз чаще, когда они в вас влюблены. Если Боб подмигнет вам, это станет новым свидетельством. В таком случае было бы ошибкой продолжать сомневаться, не Боб ли ваш тайный поклонник: шансы 10:1 в пользу того, что «случайный человек, который мне подмигивает, в меня влюблен», перевешивают шансы 1:5 против того, что «в меня влюблен Боб».

Это тоже было бы ошибкой — сказать: «Это свидетельство настолько сильное, тут дело верное — он точно в меня влюблен! С этого момента буду считать, что я ему нравлюсь». Избыточная уверенность так же плоха, как и недостаточная.

На самом деле существует лишь один математически непротиворечивый ответ на этот вопрос. Чтобы обновить наше мнение и скорректировать априорные шансы 1:5 на основе отношения правдоподобия 10:1, мы перемножаем левые части друг с другом и правые части друг с другом, получая апостериорные шансы 10:5, или 2:1 в пользу того, что «Боб влюблен в меня». Исходя из наших предпосылок и имеющихся свидетельств, предположение о том, что Боб в вас влюблен, окажется верным 2 раза на каждый 1 раз, когда оно окажется ошибочным. Иными словами: вероятность того, что вы ему симпатичны, составляет 2/3. Любая другая степень уверенности была бы противоречивой.

Наша культура еще не усвоила уроки теории вероятностей — то, что правильный ответ на вопросы вроде «Насколько я могу быть уверен, что Боб в меня влюблен?» логически обусловлен точно так же, как правильный ответ в тесте по алгебре или в учебнике геологии. Наши клише расходятся с открытием того, что на вопрос «какие убеждения мне следует иметь?» существует объективно верный ответ — идет ли речь о том, «влюблен ли в меня одноклассник», или о том, «есть ли у меня бессмертная душа». Действительно существует правильный способ менять свое мнение. И этот способ предельно точен.

Как на самом деле не менять свое мнение

Однако корректировать свои убеждения хотя бы отдаленно подобным идеализированным образом — задача непростая.

В первом томе «Рациональности: от ИИ до зомби» мы обсуждали ценность «настоящих» убеждений. Нет ничего плохого в том, чтобы выражать поддержку тому, что вам дорого — например, группе, к которой вы себя относите, или духовному опыту, который вас возвышает. Однако когда мы путаем возгласы поддержки с фактическими убеждениями, эти неверно истолкованные возгласы могут оградить целую идеологию от «осквернения» свидетельствами.

Даже