Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Пол Кроули напоминает мне отметить, что когда испытуемые могут отвечать так, чтобы группа этого не видела, уровень конформности также снижается, что тоже свидетельствует против интерпретации Аумана.

*

1. Соломон Э. Аш, «Исследования независимости и конформизма: меньшинство из одного против единогласного большинства», Psychological Monographs 70 (1956).

2. Род Бонд и Питер Б. Смит, «Культура и конформизм: метаанализ исследований с использованием задачи Аша (1952b, 1956) на сравнение отрезков», Psychological Bulletin 119 (1996): 111–137.

118. О выражении опасений.

Пугает в экспериментах Аша на конформность то, что можно заставить многих людей утверждать, будто чёрное — это белое, если поместить их в комнату, полную других людей, утверждающих то же самое. Обнадёживает то, что появление всего одного несогласного колоссально снижало уровень конформизма, даже если этот несогласный давал просто другой неправильный ответ. И удручает то, что несогласие не усваивалось в ходе эксперимента: стоило единственному несогласному принять сторону группы, как уровень конформизма снова взлетал.

Выражение несогласия может принести группе реальную пользу. Но у этого также (как всем известно) есть своя цена. К тому же вам придётся продолжать в том же духе. Плюс ко всему, вы можете ошибаться.

Недавно со мной произошёл интересный случай: я начал обсуждать проект с двумя людьми, которые до этого планировали его самостоятельно. Мне показалось, что они настроены слишком оптимистично, и я сделал ряд предложений по проекту, касающихся запаса прочности. Вскоре мимо проходил четвёртый парень (он должен был подвезти домой одного из тех двоих) и тоже стал предлагать идеи. В этот момент меня внезапно осенило, как именно группы приходят к чрезмерной самоуверенности: каждый раз, когда я указывал на возможную проблему, четвёртый парень говорил: «Не волнуйся, уверен, мы с этим справимся!» или что-то столь же ободряющее.

У человека, работающего в одиночку, возникают естественные сомнения. Он думает про себя: «Действительно ли я смогу сделать XYZ?», ведь нет ничего невежливого в том, чтобы сомневаться в собственной компетентности. Но когда двое неуверенных в себе людей объединяются в группу, вежливость требует говорить приятные и ободряющие вещи, а сомневаться в компетентности другого становится невежливо. Вместе они проникаются большим оптимизмом, чем каждый из них по отдельности: сомнения каждого подавляются кажущейся уверенностью заверений другого, и ни один не понимает, что изначально у собеседника были те же самые внутренние сомнения.

Самая пугающая перспектива, на которую указывают эксперименты Аша на конформность, — это призрак всеобщего согласия с группой под влиянием уверенных чужих голосов, когда каждый старается не показывать собственных сомнений, не понимая, что и другие подавляют точно такие же опасения. Это явление известно как «плюралистическое невежество».

У нас с Робином Хансоном идёт давний спор о том, когда именно начинающим рационалистам стоит осмеливаться на несогласие. Я склоняюсь к широко распространённой позиции, что у вас нет иного выбора, кроме как формировать собственное мнение. Робин Хансон отстаивает более радикальную позицию: вы — а не только другие люди — должны допускать, что другие могут оказаться мудрее. Независимо от наших споров по различным вопросам, мы оба согласны с тем, что теорема Ауманна о согласии в своём расширенном толковании подразумевает, что общее знание о фактическом несогласии указывает на то, что кто-то должен быть иррационален. Несмотря на косые взгляды, которые на нас бросают, мы твёрдо стоим на своём в вопросе скромности: забудьте всё, что вам говорят об индивидуализме, вы должны обращать внимание на то, что думают другие люди.

Кхм. Суть в том, что для рационалистов несогласие с группой — дело серьёзное. От него нельзя просто отмахнуться фразой «Каждый имеет право на собственное мнение».

Я думаю, самый важный урок, который можно извлечь из экспериментов Аша, — это научиться отличать «выражение опасений» от «несогласия». Озвучивание соображения, которое другие не высказали, вовсе не означает обещания не согласиться с группой в конце обсуждения.

Процесс схождения мнений у идеального байесианца включает в себя обмен свидетельствами, непредсказуемыми для слушателя. Результат Ауманна о согласии применим только к общему знанию — когда вы знаете, я знаю, вы знаете, что я знаю, и так далее. Статья или пост Хансона «Мы не можем предвидеть несогласие» показывает, насколько странно выглядело бы сближение оценок вероятности у идеальных рационалистов; это совершенно не похоже на то, как торгуются двое на рынке, сходясь в цене.

К сожалению, в социальном плане разница между «выражением опасений» и «несогласием» невелика. Группа рационалистов может договориться делать вид, что разница есть, но человеческая природа устроена иначе. Стоит вам высказаться, и вы совершаете социально необратимый поступок: вы становитесь торчащим гвоздем, фальшивой нотой в уютной групповой гармонии, и этого уже не отменить. Любой, кого задело выраженное вами сомнение в его способности успешно справиться с задачей XYZ, скорее всего, затаит не меньшую обиду, даже если в конце вы скажете: «Без проблем, я согласен с группой».

Эксперимент Аша показывает, что способность несогласия вдохновлять других реальна. Эксперимент Аша показывает, что сила конформизма реальна. Если все будут воздерживаться от озвучивания своих личных сомнений, это действительно приведёт группы к безумию. Но история изобилует уроками о том, какова цена быть первым или даже вторым, кто скажет, что король-то голый. Люди биологически не приспособлены отличать «выражение опасения» от «несогласия даже при общем знании»; это различие — лишь искусственный конструкт рационалистов. Если вы почитаете более циничные книги по саморазвитию (например, «Государя» Макиавелли), там вам посоветуют полностью маскировать свой нонконформизм, а не высказывать сначала опасения, чтобы затем согласиться. Если вы оказываете группе услугу, становясь тем, кто озвучивает очевидные проблемы, не ждите, что группа скажет вам спасибо.

Таковы издержки и выгоды несогласия — выражаете ли вы полноценное «несогласие» или просто «высказываете опасения», — и решать только вам.

*

119. Одинокое несогласие.

Эксперимент Аша на конформизм показал, что присутствие даже одного несогласного колоссально снижает частоту «конформистских» неверных ответов. Как показывает эксперимент, быть индивидуалистом легко, когда ваше неповиновение кто-то разделяет. Все остальные испытуемые в комнате, кроме одного, говорят, что черное — это белое. Вы становитесь вторым человеком, который говорит, что черное — это черное. И это потрясающее чувство: вы двое, одинокие и дерзкие бунтари, против всего мира! (Последующие опросы показали, что испытуемые в условиях одного несогласного испытывали сильное чувство