Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

что сама относится к собственной религии серьёзно. Думаю, именно это меня так поразило. Я знаю людей, которые верят, что верят в нелепые вещи, но, когда они исповедуют их, они прикладывают гораздо больше усилий, чтобы убедить самих себя, что относятся к своим убеждениям серьёзно.

В конце концов до меня дошло, что эта женщина не пыталась убедить ни нас, ни даже себя. Её пересказ истории сотворения мира вообще был не о сотворении мира. Скорее, пускаясь в пятиминутную тираду о первозданной корове, она болела за язычество — словно размахивала баннером на футбольном матче. Баннер с надписью «ВПЕРЁД, СИНИЕ!» — это не констатация факта и не попытка убедить; он не должен быть убедительным, это просто кричалка.

Эта странная, выставленная напоказ гордость... как будто она шла обнажённой на гей-параде. (Не то чтобы в хождении обнажённым на гей-параде было что-то плохое. Лесбиянство — это не то, что истина способна разрушить.) Это было не просто выражение поддержки, вроде участия в марше, а вызывающее выражение поддержки, вроде марша нагишом — с уверенностью, что её нельзя арестовать или раскритиковать, ведь она делает это ради своего прайд-парада.

Вот почему для неё было так важно, чтобы то, что она говорит, находилось за гранью нелепости. Если бы она попыталась придать своим словам правдоподобия, это было бы равносильно тому, как если бы она надела одежду.

*

18. Вера как одежда.

До сих пор я разграничивал веру как регулятор ожиданий, веру в веру, декларирование и боление. Из них верования, управляющие ожиданиями, мы можем назвать «собственно верой», а остальные формы — «несобственной верой». Собственно вера может быть ошибочной или иррациональной — например, когда кто-то искренне ожидает, что молитва исцелит его больного ребенка. Но остальные формы, пожалуй, «вообще не являются верой».

Еще одна форма несобственной веры — это вера как групповая идентичность, как способ принадлежности к группе. Робин Хэнсон использует отличную метафору ношения необычной одежды, групповой формы вроде священнического облачения или иудейской кипы, и потому я буду называть это «верой как одеждой».

С точки зрения реалистичной человеческой психологии, мусульмане, направившие самолеты во Всемирный торговый центр, несомненно, видели себя героями, защищающими истину, справедливость и Исламский Путь от отвратительных инопланетных монстров в духе фильма «День независимости». Только очень неопытный нерд — из тех, кто понятия не имеет, как смотрят на мир не-нерды, — стал бы говорить такое вслух в баре в Алабаме. В Америке так говорить не принято. Там положено утверждать, что террористы «ненавидят нашу свободу», а направить самолет в здание — это «трусливый поступок». Нельзя использовать словосочетания «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже ради того, чтобы точно описать, как Враг видит мир. Сама концепция мужества и альтруизма террориста-смертника — это одежда Врага; это сразу понятно, ведь именно Враг о ней говорит. Трусость и социопатия террориста-смертника — это американская одежда. Никакие кавычки не позволят вам говорить о том, как Враг видит мир; это всё равно что нарядиться нацистом на Хэллоуин.

Вера-как-одежда помогает объяснить, почему люди могут испытывать столь страстные чувства к своей несобственной вере. Простая вера в веру или религиозное декларирование вряд ли способны вызвать подлинные, глубокие и сильные эмоции. По крайней мере, мне так кажется; признаюсь, я здесь не эксперт. Но у меня сложилось такое впечатление: люди, которые перестали строить ожидания так, будто их религия истинна, готовы на всё, чтобы убедить себя в том, что они полны страсти, и это отчаяние легко принять за искреннее горение. Но это не тот огонь, который пылал в них в детстве.

С другой стороны, человеку очень легко искренне, страстно, на нутряном уровне чувствовать свою принадлежность к группе — например, болеть за любимую спортивную команду. (Именно на этом фундаменте строится надувательство под названием «республиканцы против демократов» и аналогичные ложные дилеммы в других странах, но это тема для другого разговора.) Отождествление себя с племенем — это мощнейшая эмоциональная сила. Люди готовы умирать за это. И как только вы заставите людей отождествлять себя с племенем, убеждения, служащие одеждой этого племени, будут провозглашаться со всей страстью, рожденной чувством принадлежности к нему.

*

19. Табло «Аплодисменты»

На Саммите Сингулярности 2007 года один из докладчиков призвал к демократической многонациональной разработке искусственного интеллекта. Тогда я подошёл к микрофону и спросил:

Представьте, что группа демократических республик создаёт консорциум для разработки ИИ, и в процессе происходит много политиканства — некоторые группы интересов пользуются непропорционально большим влиянием, другие оказываются обделены. Иными словами, результат выглядит в точности как продукты современных демократий. Или же представьте, что группа гиков-бунтарей разрабатывает ИИ у себя в подвале и поручает ему опросить каждого человека в мире — сбрасывая мобильные телефоны всем, у кого их нет, — а затем сделать то, что скажет большинство. Какой из этих вариантов вы считаете более «демократичным» и чувствовали бы вы себя в безопасности при любом из них?

Я хотел выяснить, верит ли он в прагматическую адекватность демократического политического процесса или же в моральную правоту самого голосования. Но докладчик ответил:

Первый сценарий звучит как редакционная статья в журнале Reason, а второй — как сюжет голливудского фильма.

В замешательстве я спросил:

Какой же тогда демократический процесс вы всё-таки имели в виду?

Докладчик ответил:

Что-то вроде проекта «Геном человека» — это был исследовательский проект с международным финансированием.

Я спросил:

Как различные группы интересов разрешали бы свои конфликты в структуре, подобной проекту «Геном человека»?

И докладчик сказал:

Я не знаю.

Этот диалог напоминает мне высказывание какого-то диктатора, которого спросили, намерен ли он вести своё карманное государство к демократии:

Мы считаем, что уже находимся внутри демократической системы. Не хватает лишь некоторых факторов — например, волеизъявления народа.

Суть демократии заключается в конкретном механизме разрешения разногласий по поводу политического курса. Если бы все группы предпочитали один и тот же курс, необходимости в демократии не возникло бы — мы бы сотрудничали автоматически. Процесс урегулирования может представлять собой прямое голосование большинства, работу выборного законодательного органа или даже чуткое к мнению избирателей поведение искусственного интеллекта, но это должно быть хоть что-то. Что вообще значит призывать к «демократическому» решению, если у вас нет на примете никакого механизма разрешения конфликтов?

По-моему, это значит лишь то, что вы произнесли слово