Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

сказать «Упс» и отступиться, видя, что дело не ладится, вам не остается ничего другого, кроме как продолжать стрелять себе в ногу. Вам приходится раз за разом перезаряжать дробовик и снова нажимать на курок. Вы наверняка знаете таких людей. И где-то в вашей собственной жизни, в том укромном уголке, о котором вам меньше всего хочется думать, вы и есть такой человек. Было бы здорово, если бы существовал способ мышления, который помог бы нам перестать это делать.

Несмотря на масштабность моих ошибок, эти два года ведения блога, судя по всему, удивительно сильно помогли поразительно большому числу читателей. Пускай это работало не всегда, но время от времени это действительно приносило плоды.

В современном обществе так мало обучают навыкам рационального формирования убеждений и принятия решений, так мало преподают математику и естественные науки, лежащие в их основе… что оказывается, простое чтение огромного массива хаотично изложенных мыслей, полного проблем философии и науки, может — да-да! — принести на удивление много пользы. Разбор всего этого под десятком разных углов порой позволяет мельком уловить центральный ритм.

Потому что в конечном счете всё это — одно целое. Я говорил о больших, важных, далеких проблемах и пренебрегал насущной жизнью, но законы, которые ими управляют, на самом деле ничем не отличаются. В том, на чем я фокусировался, есть огромные пробелы, да и примеры я выбирал совершенно неудачные; но в конце концов всё это — одно целое. Я с гордостью оглядываюсь назад и могу сказать, что даже после всех сделанных мною ошибок и всех прочих случаев, когда я говорил «Упс»…

Даже пять лет спустя мне все еще кажется, что это лучше, чем ничего.

— Элиезер Юдковский,

февраль 2015 года

Когнитивные искажения: введение.

Роб Бенсингер

Это не секрет. Однако почему-то об этом редко заходит речь, и мало кто задается вопросом, что с этим делать. Это закономерность, невидимая за всеми нашими победами и поражениями, незримая за нашими собственными глазами. Что же это такое?

Представьте, что вы запускаете руку в урну, где лежат семьдесят белых шаров и тридцать красных, и достаете десять случайных шаров. Возможно, три шара из десяти окажутся красными, и вы правильно угадаете, сколько всего красных шаров было в урне. А возможно, вам случайно попадутся четыре красных шара или какое-то другое число. Тогда вы, скорее всего, ошибетесь в оценке общего количества.

Эта случайная ошибка — плата за неполноту знаний, и среди всех возможных ошибок она не так уж страшна. Ваши оценки не будут ошибочными в среднем, и чем больше вы узнаёте, тем меньше, как правило, будет становиться ваша ошибка.

С другой стороны, предположим, что белые шары тяжелее и опускаются на дно урны. Тогда ваша выборка может оказаться нерепрезентативной, причем в одном и том же направлении.

Именно такого рода ошибка называется «статистическим смещением». Если ваш метод познания мира смещен, то накопление знаний может и не помочь. Сбор дополнительных данных может даже систематически ухудшать смещенный прогноз.

Если вы привыкли высоко ценить знание и стремление к познанию, то это пугающая перспектива. Если мы хотим быть уверенными, что новые знания помогут нам, а не сделают наше положение хуже прежнего, нам нужно научиться находить и корректировать смещения в наших данных.

Концепция когнитивного искажения в психологии устроена аналогично. Когнитивное искажение — это систематическая ошибка в нашем мышлении, в отличие от случайной ошибки или ошибки, вызванной простым незнанием. В то время как статистическое смещение искажает выборку, из-за чего она хуже отражает генеральную совокупность, когнитивные искажения искажают наши убеждения, из-за чего те менее точно соответствуют фактам, а также искажают процесс принятия решений, мешая надежно достигать наших целей.

Возможно, вы подвержены предвзятости оптимизма и вдруг узнаёте, что красные шары могут излечить редкую тропическую болезнь, которой страдает ваш брат. Из-за этого вы можете переоценить количество красных шаров в урне, потому что хотите, чтобы их было большинство. В данном случае смещена не выборка. Предвзяты вы сами.

Однако теперь, когда речь зашла о предвзятых людях, нам нужно быть осторожнее. Обычно, когда мы называем человека или группу «предвзятыми», мы делаем это, чтобы упрекнуть их в несправедливости или пристрастности. Когнитивное искажение — совсем другое дело. Когнитивные искажения — это неотъемлемая часть человеческого мышления вообще, а не дефект, который можно списать на плохое воспитание или скверный характер.1

Когнитивное искажение — это систематическое отклонение врожденных паттернов вашего мышления от истины (или другой достижимой цели, например, счастья). Как и статистические смещения, когнитивные искажения могут искажать наше восприятие реальности, их не всегда можно исправить простым сбором данных, а их последствия могут накапливаться со временем. Но когда неоткалиброванный измерительный прибор, который вы пытаетесь настроить, — это вы сами, преодоление этих искажений становится уникальной по сложности задачей.

И все же это очевидная отправная точка. Ведь если вы не можете доверять собственному мозгу, как вы можете доверять чему-либо еще?

Было бы полезно дать название этому проекту по преодолению когнитивных искажений и всех видов ошибок, из-за которых наш разум начинает саботировать сам себя.

Мы могли бы назвать этот проект как угодно. Но на данный момент, полагаю, «рациональность» — название не хуже любого другого.

Рациональные чувства

В голливудских фильмах быть «рациональным» обычно означает быть суровым, сверхинтеллектуальным стоиком. Вспомните Спока из «Звездного пути», который «рационально» подавляет свои эмоции, «рационально» отказывается полагаться на интуицию или порывы, из-за чего легко впадает в ступор и оказывается обыгранным при встрече с непредсказуемым или «иррациональным» противником.2

Но математики, психологи и социологи изучают совершенно иное понятие «рациональности». Грубо говоря, это идея о том, чтобы делать всё возможное с тем, что у вас есть. Рациональный человек, в насколько бы сложной для себя ситуации он ни оказался, формирует наилучшие убеждения на основе тех свидетельств, которыми располагает. Рациональный человек, в какую бы ужасную ситуацию он ни попал, принимает наилучшие решения, чтобы повысить свои шансы на успех.

Рациональность в реальном мире не требует игнорировать эмоции и интуицию. Для человека быть рациональным часто означает лучше осознавать свои чувства, чтобы иметь возможность учитывать их при принятии решений.

Рациональность может заключаться даже в том, чтобы знать, когда не нужно слишком глубоко задумываться. Эксперименты показывают, что при выборе постера на стену или прогнозировании исхода баскетбольного матча испытуемые справлялись хуже, если тщательно анализировали причины своего выбора.3,4 Есть задачи, в