Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Поэтому, чтобы распознать бесполезное объяснение, недостаточно думать о том, что оно объясняет очень хорошо, — нужно искать результаты, которые оно объяснить не могло бы, и именно в этом заключается истинная сила теории.

Я высказал всё это, а затем подверг сомнению полезность концепции «эмерджентности». Один из комментаторов привел сверхпроводимость и ферромагнетизм в качестве примеров эмерджентности. Я ответил, что несверхпроводимость и неферромагнетизм — это тоже примеры эмерджентности, и в этом-то как раз и проблема. Но я далёк от того, чтобы критиковать этого комментатора! Несмотря на то, что я много читал о «предвзятости подтверждения», я сам не заметил подвоха в задаче 2-4-6, когда впервые о ней прочитал. Это невербальная мгновенная реакция, которую нужно переучивать. Я и сам всё еще работаю над этим.

Очень большая часть навыков рационалиста лежит глубже уровня слов. Это сильно усложняет попытки передать Искусство словами. Люди будут соглашаться с вами, но уже в следующем предложении сделают на неосознанном уровне что-то прямо противоположное. Не то чтобы я жаловался! Одна из главных причин, по которой я всё это пишу, — увидеть, чего мои слова не донесли.

Ищете ли вы прямо сейчас позитивные примеры позитивного искажения или уделяете хотя бы малую часть внимания тому, чего из-за позитивного искажения вы можете не заметить? Вы посмотрели в сторону света или в сторону тьмы?

*

1. Питер Каткарт Уэйсон, «On the Failure to Eliminate Hypotheses in a Conceptual Task», Quarterly Journal of Experimental Psychology 12, no. 3 (1960): 129–140, doi:10.1080/17470216008416717.

39. Закономерная неопределенность. В книге «Рациональный выбор в неопределенном мире» Робин Доуз описывает эксперимент Тверски:1,2.

В конце 1950-х и начале 1960-х годов было проведено множество психологических экспериментов, в которых испытуемых просили предсказать исход события, имевшего случайную составляющую, но при этом поддававшегося прогнозированию на основе базовой вероятности — например, испытуемых просили угадать, будет ли следующая открытая экспериментатором карта красной или синей, при условии, что 70% карт были синими, но сама последовательность красных и синих карт была абсолютно случайной.

В такой ситуации стратегия, обеспечивающая наибольшую долю успеха, заключается в том, чтобы предсказывать более частое событие. Например, если 70% карт — синие, то выбор синего цвета в каждой попытке дает 70% успешных предсказаний.

Однако вместо этого испытуемые, как правило, подстраивали ответы под вероятности — то есть предсказывали более вероятное событие с той относительной частотой, с которой оно действительно происходило. Например, испытуемые были склонны в 70% случаев предсказывать появление синей карты, а в 30% случаев — красной. Такая стратегия дает лишь 58% успеха, поскольку испытуемые оказываются правы в 70% случаев, когда выпадает синяя карта (что происходит с вероятностью 0,70), и в 30% случаев, когда выпадает красная карта (что происходит с вероятностью 0,30); (0,70 × 0,70) + (0,30 × 0,30) = 0,58.

Фактически испытуемые предсказывают более частое событие с чуть большей вероятностью, чем та, с которой оно действительно происходит, но даже близко не подходят к тому, чтобы выбирать его в 100% случаев, даже когда им платят за точность прогнозов... Например, испытуемые, получавшие по пять центов за каждое верное предсказание на протяжении тысячи попыток... предсказывали [более частое событие] в 76% случаев.

Не думайте, что этот эксперимент указывает на какой-то мелкий изъян в игровых стратегиях. Он в лаконичной форме иллюстрирует самую важную идею во всей рациональности.

Испытуемые просто продолжают угадывать красное, словно думая, будто у них есть способ предсказать случайную последовательность. Об этом эксперименте Доуз пишет далее: «Несмотря на обратную связь на протяжении тысячи попыток, испытуемые не могут заставить себя поверить, что они оказались в ситуации, когда делать прогнозы невозможно».

Но ошибка должна лежать еще глубже. Даже если испытуемые думают, будто изобрели гипотезу, им вовсе не обязательно делать ставку на этот прогноз, чтобы проверить свою гипотезу. Они могут сказать себе: «Если эта гипотеза верна, следующая карта будет красной», — и все равно поставить на синюю. Они могут каждый раз выбирать синюю карту, собирая как можно больше пятицентовых монет, и в то же время мысленно отмечать свои догадки о любых закономерностях, которые, как им кажется, они заметили. Если их предсказания подтвердятся, тогда они смогут переключиться на вновь открытую последовательность.

Я не стал бы винить испытуемого за то, что он продолжает выдвигать гипотезы, — откуда ему знать, действительно ли эту последовательность невозможно предсказать? Но я бы винил его за ставки на свои догадки, когда в этом нет необходимости для сбора информации, а буквально сотни предыдущих догадок уже были опровергнуты.

Неужели даже человек может быть настолько самоуверенным?

Я подозреваю, что здесь происходит нечто более простое: стратегия «всегда выбирать синее» просто не пришла в голову испытуемым.

Люди видят смесь в основном из синих карт с редким вкраплением красных и полагают, что оптимальная стратегия ставок должна представлять собой такую же смесь из преимущественно синих карт с редким добавлением красных.

Мысль о том, что при неполной информации оптимальная стратегия ставок не похожа на типичную последовательность карт, кажется контринтуитивной.

Идея о том, что оптимальная стратегия — вести себя закономерно даже в среде, содержащей элементы случайности, тоже контринтуитивна.

Кажется, будто ваше поведение должно быть столь же непредсказуемым, как и среда, — но нет! Случайный ключ не откроет случайный замок только потому, что они оба «случайны».

Огонь не тушат огнем — его тушат водой. Но эта мысль требует дополнительного шага, новой концепции, которая напрямую не активируется формулировкой задачи, а потому это не первая идея, приходящая на ум.

В дилемме синих и красных карт наше неполное знание подсказывает нам в каждом без исключения раунде, что лучшая ставка — на синее. Этот совет, проистекающий из нашего неполного знания, остается неизменным в каждом раунде. Если в 30% случаев мы пойдем наперекор своему неполному знанию и вместо этого поставим на красное, мы только ухудшим свой результат — ведь теперь мы ведем себя откровенно глупо, ставя на заведомо менее вероятный исход.

Если бы вы ставили на красное в каждом раунде, вы получили бы наихудший из возможных результатов; вы были бы глупы на все 100%. Если же при 30% красных карт вы ставите на красное в 30% случаев, то вы делаете себя глупым на 30%.

Когда ваши знания неполны — а значит, мир кажется вам содержащим элемент случайности, — внесение случайности в собственные действия не решает проблему. Это лишь отдаляет вас от