Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

рационалистов, у нас были бы уроки о том, как не соглашаться, и уроки о том, как соглашаться; уроки, призванные помочь ученикам чувствовать себя комфортнее при несогласии, и уроки, призванные помочь им чувствовать себя комфортнее при конформизме. В один день все приходят одетыми кто во что горазд, в другой — все являются в униформе. Нужно освоить обе стороны, иначе вы рационалист лишь наполовину.

Можете ли вы представить себе обучение будущих рационалистов носить униформу и маршировать в ногу, а также тренировочные сессии, на которых они соглашаются друг с другом и аплодируют всему, что говорит оратор на трибуне? Звучит как неописуемый ужас, не правда ли, словно всё это открыто признало себя зловещим культом? Но почему практиковать это — не нормально, в то время как нормально практиковать несогласие со всеми остальными в толпе? Неужели вам никогда не придётся соглашаться с большинством?

Наша культура делает весь упор на героическое несогласие и героическое неповиновение, и нисколько — на героическое согласие или героический групповой консенсус. Мы сигнализируем о своём выдающемся интеллекте и принадлежности к сообществу нонконформистов, изобретая остроумные возражения против чужих аргументов. Возможно, именно в этом кроется причина того, что сообщество технофилов и Кремниевой долины остаётся маргинализованным, проигрывая битвы менее нонконформистским фракциям в обществе в целом. Нет, мы проигрываем не потому, что мы такие выдающиеся; мы проигрываем потому, что наши исключительно индивидуалистические традиции саботируют нашу способность к сотрудничеству.

Другой важный компонент, который, на мой взгляд, подрывает групповые усилия в сообществе технофилов, — это привычка стыдиться сильных чувств. В наших головах всё ещё засел архетип рациональности в духе Спока — рациональности как бесстрастности. Или, возможно, родственная ошибка: рациональность как цинизм — попытка просигнализировать о своём превосходстве и пресыщенной искушённости, показывая, что вас всё волнует меньше, чем других. Стремление тщательно, демонстративно и публично смотреть свысока на тех, кто настолько наивен, что открыто показывает, как сильно его что-то волнует.

Разве вы не почувствовали бы себя неловко, если бы оратор на трибуне заявил, что его настолько сильно волнует, скажем, борьба со старением, что он готов умереть за это дело?

Но ни в теории вероятностей, ни в теории принятия решений нигде не написано, что рационалисту должно быть всё равно. Я просмотрел эти уравнения — и, правда, там этого нет.

Лучшее неформальное определение рациональности, которое я когда-либо слышал, звучит так: «То, что может быть разрушено истиной, должно быть разрушено». Мы должны стремиться испытывать эмоции, соответствующие фактам, а не стремиться вообще ничего не чувствовать. Если эмоция может быть разрушена истиной, мы должны от неё отказаться. Но если цель стоит того, чтобы за неё бороться, давайте во всей полноте прочувствуем её важность.

За некоторые вещи действительно стоит умереть. Да, правда! И если мы не сможем научиться спокойно признавать это и слышать это от других, то нам будет трудно быть неравнодушными в достаточной мере — как и в достаточной мере координировать свои усилия — чтобы вкладывать силы в групповые проекты. Нужно преподавать обе стороны медали: «То, что может быть разрушено истиной, должно быть разрушено» и «То, что истина питает, должно процветать».

Я слышал доводы в пользу того, будто табу на эмоциональный язык в научных статьях, к примеру, играет важную роль, позволяя фактам бороться друг с другом без отвлекающих факторов. Но это не значит, что это табу должно действовать повсеместно. Я считаю, что в жизни есть сферы, где нам следует научиться аплодировать яркой эмоциональной речи, красноречию и поэзии. Когда нужно сделать какое-то дело, поэтические призывы помогают с ним справиться, а значит, и сами заслуживают аплодисментов.

Нам нужно следить за тем, чтобы наше стремление разоблачать контрпродуктивные начинания и необоснованные призывы не губило дела, которые действительно требуют решения. Здесь важны обе стороны: готовность отвернуться от контрпродуктивных начинаний и готовность поддержать продуктивные; стойкость не поддаваться беспочвенным призывам и сила поддаться призывам обоснованным.

Думаю, в той синагоге во время ежегодного сбора пожертвований всё делали правильно. Они не обходили ряды один за другим, заставляя конкретных людей чувствовать себя неловко, пристально глядя на них и спрашивая: «А сколько пожертвуете вы, мистер Шварц?» Люди просто объявляли о своих пожертвованиях — без лишнего пафоса и гордости, просто делали заявления, — и это вдохновляло остальных поступать так же. Те, кому нечего было дать, молчали; у кого были возражения, высказывали их позже или раньше. Примерно так всё и должно происходить в разумном человеческом сообществе — с учётом того, что людям часто бывает трудно обрести желаемую мотивацию, и социальное поощрение может помочь им преодолеть эту слабость воли.

Но даже если вы несогласны с этой частью, давайте сойдёмся на том, что и поддерживающие, и противоположные мнения должны были быть высказаны публично. Ситуация, когда сторонники сталкиваются с кажущейся глухой стеной возражений и несогласия — даже если она возникла из-за их собственной неловкой самоцензуры — это не групповая рациональность. Это всего лишь зеркальное отражение того, что делают группы Тёмной стороны для удержания своих последователей. Глупость наоборот — это ещё не ум.

*

318. Терпите терпимость.

Одна из вероятных черт человека, который решает стать «рационалистом», — это более низкая, чем обычно, терпимость к изъянам в рассуждениях. Это не следует с железной необходимостью. Вы могли бы, скажем, прийти к отказу от своей религии просто потому, что заметили больше изъянов в рассуждениях или более глубокие из них, а не потому, что по своей природе вы сильнее раздражаетесь из-за ошибки конкретного масштаба. Но если смотреть на вещи реально, у многих из нас уровень «раздражения от всех этих подмечаемых изъянов», вероятно, настроен чуть выше среднего.

Вот почему нам так важно проявлять терпимость к чужой терпимости, если мы хотим сделать хоть что-то вместе.

Для меня ярчайшим примером терпимости, которую мне приходится терпеть, является Бен Герцель, который, помимо прочего, проводит ежегодную конференцию по ИИ и всегда находит доброе слово для каждого. Бен даже похвалил идеи М*нт*ф*кса, самого легендарного из всех фриков от ИИ. (М*нт*ф*кс, по всей видимости, стал добавлять ссылку на похвалу Бена в подпись своих писем — вероятно, потому, что это была единственная похвала, которую он когда-либо получал от настоящего академического исследователя ИИ.) (Пожалуйста, не произносите его Истинное Имя правильно, иначе он будет призван сюда.)

Но я пришёл к пониманию, что в этом кроется одна из сильных сторон