Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Как стремительно пролетает этот незамеченный миг, когда мы еще не можем угадать свой ответ, — это крошечное окно возможностей для действия разума. Как в вопросах выбора, так и в вопросах фактов.

Принцип итоговой строки заключается в том, что только реальные причины ваших убеждений определяют вашу эффективность как рационалиста. Как только ваше убеждение зафиксировано, никакие аргументы не изменят его истинность; как только ваше решение принято, никакие аргументы не изменят его последствия.

Вы можете думать, что способны прийти к убеждению или решению нерациональным путем, а затем попытаться обосновать его, и, если обосновать не получится, отказаться от него.

Но мы меняем свое мнение реже — гораздо реже, — чем нам кажется.

Уверен, вы сможете вспомнить хотя бы один случай в жизни, когда изменили свое мнение. Все мы можем. А как насчет всех тех случаев, когда вы своего мнения не меняли? Так же ли легко они всплывают в памяти при вашей эвристической оценке собственной компетентности?

Из-за эффекта послезнания, ложной причинности, позитивной предвзятости, эффектов якорения и прайминга и так далее, и так далее — и в первую очередь из-за ужасной предвзятости подтверждения, — если уж какая-то мысль засела у вас в голове, она, скорее всего, там и останется.

*

1. Дейл Гриффин и Амос Тверски, “The Weighing of Evidence and the Determinants of Confidence,” Cognitive Psychology 24, № 3 (1992): 411–435, doi:10.1016/0010-0285(92)90013-R.

98. Не спешите предлагать решения. Из книги Робина Доуза «Рациональный выбор в мире неопределенности».1 Выделение полужирным добавлено.

Норман Р. Ф. Майер заметил, что, когда группа сталкивается с проблемой, естественная склонность её членов — предлагать возможные решения сразу же, как только начинается обсуждение. В результате групповое взаимодействие фокусируется на достоинствах и недостатках предложенных вариантов, люди эмоционально привязываются к собственным идеям, а более удачные решения так и остаются невысказанными. Чтобы повысить эффективность группового решения задач, Майер ввел правило: «Не предлагайте решений до тех пор, пока проблема не будет обсуждена как можно более подробно без упоминания каких-либо вариантов». Легко показать, что это правило работает в ситуациях, где существуют объективно наилучшие решения.

Чтобы доказать свою правоту, Майер разработал следующий «ролевой» эксперимент. Три работника с разными способностями трудятся на сборочном конвейере. Они чередуют три вида работ, требующих разной квалификации, поскольку самый способный из них — он же самый доминантный — изо всех сил стремится избежать скуки. Напротив, наименее способный рабочий, понимая, что справляется с трудной работой хуже остальных, согласился на ротацию из-за доминирования своего способного коллеги. «Эксперт по эффективности» отмечает, что если бы самому способному работнику поручили самую сложную задачу, а наименее способному — самую легкую, производительность труда выросла бы на 20%, и рекомендует прекратить ротацию. Трех рабочих и... четвертого участника, исполняющего роль мастера, просят обсудить рекомендацию эксперта. Некоторым ролевым группам дают указание Майера не обсуждать решения, пока они досконально не разберут саму проблему; другим группам такого указания не дают. Те, кто не получил этого указания, сразу же начинают спорить о важности производительности в сравнении с автономностью рабочих и защитой от скуки. Группы, следовавшие правилу Майера, с гораздо большей вероятностью приходят к решению, при котором двое более способных рабочих продолжают меняться местами, в то время как наименее способный постоянно выполняет самую простую работу — решению, которое обеспечивает рост производительности на 19%.

Я часто использовал это правило в группах, которыми руководил, — особенно когда они сталкивались с очень сложной задачей, ведь именно в таких случаях люди больше всего склонны сразу же предлагать готовые решения. И хотя у меня нет объективного критерия для оценки качества работы этих групп, правило Майера, по всей видимости, действительно способствует поиску более удачных решений.

Это настолько верно, что даже не смешно. И чем сложнее задача, тем хуже всё становится. Возьмем, к примеру, искусственный интеллект. Поразительно много людей, которых я встречаю, кажется, точно знают, как создать сильный искусственный интеллект (AGI), при этом не умея, скажем, создать систему оптического распознавания символов или систему коллаборативной фильтрации (а ведь это гораздо более простые задачи). А уж что касается создания ИИ, оказывающего положительное влияние на мир, — грубо говоря, Дружественного ИИ, — да ведь эта задача настолько невероятно сложна, что самое настоящее большинство людей «решает» её за пятнадцать секунд. Да не смешите меня.

Эта проблема отнюдь не уникальна для сферы ИИ. Физики то и дело сталкиваются с нефизиками, предлагающими собственные теории физики, а экономистам приходится выслушивать массу удивительных новых экономических теорий. Если вы эволюционный биолог, любой встречный может мгновенно решить любую открытую проблему в вашей области — как правило, постулировав групповой отбор. И так далее.

Совет Майера перекликается с принципом итоговой строки: эффективность наших решений определяется лишь тем, какие свидетельства мы рассмотрели и как их обработали, прежде чем прийти к выводу, — после того как вы написали итоговую строку, уже поздно приписывать аргументы над ней. Если вы принимаете решение на самых ранних этапах, оно на самом деле будет основываться на очень скудных размышлениях, сколько бы потрясающих доводов вы ни придумали постфактум.

К тому же учтите: мы меняем свое мнение реже, чем нам кажется. Из 24 человек, давших в среднем 66% вероятности тому, что они выберут наиболее ожидаемый вариант будущего решения, лишь один действительно выбрал вариант, казавшийся менее вероятным. Если вы уже можете предугадать свой ответ, вы, скорее всего, уже приняли решение. Если вы способны угадать свой ответ спустя полсекунды после того, как услышали вопрос, значит, на проявление интеллекта у вас была всего полсекунды. Не так уж много времени.

Традиционная рациональность делает упор на фальсификацию — способность отказаться от первоначального мнения, столкнувшись с явными опровергающими доказательствами. Но как только идея укореняется в вашей голове, для её искоренения потребуется слишком уж много доказательств. Хуже того, мы не всегда можем позволить себе роскошь обладать неопровержимыми доказательствами.

Я подозреваю, что более мощный (и более сложный) метод — повременить с поиском ответа. Приостановить, затянуть тот крошечный миг, когда мы ещё не знаем, каким будет наш ответ, дав тем самым нашему интеллекту больше времени для работы.

Даже полминуты были бы шагом вперед по сравнению с полусекундой.

*

1. Доуз, Рациональный выбор в мире неопределенности, 55–56.