Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Итак, всё это примеры мощных сил Тёмной стороны, способных сплачивать группы.

И, надо полагать, мы не зайдём так далеко, чтобы марать руки подобным...

Следовательно, как группа, Светлая сторона всегда будет разобщена и слаба. Технофилы, гики, учёные и даже нефундаменталистские религиозные течения никогда не смогут действовать с тем фанатичным единством, которое воодушевляет радикальный ислам. Технологическое преимущество не безгранично: ваши инструменты можно скопировать или украсть и использовать против вас. В конечном счёте Светлая сторона всегда будет проигрывать в любом групповом конфликте, и будущее неизбежно принадлежит Тёмной.

Я думаю, что реакция человека на эту перспективу говорит о многом в его отношении к «рациональности».

Некоторые авторы, пишущие о «столкновении цивилизаций», похоже, смирились с тем, что Просвещение в долгосрочной перспективе обречено проиграть радикальному исламу, и лишь вздыхают да печально качают головами. Полагаю, они пытаются просигнализировать о своей циничной искушённости или что-то в этом роде.

Что касается меня, я всегда считал — зовите меня безумцем, — что настоящий рационалист должен быть эффективен в реальном мире.

Поэтому мне трудно примириться с мыслью, что Тёмная сторона благодаря своему плюралистическому невежеству и аффективным спиралям смерти всегда будет побеждать просто потому, что её сторонники лучше скоординированы, чем мы.

Можно было бы подумать, пожалуй, что настоящие рационалисты должны быть более скоординированными? Наверняка у всего этого неразумия должны быть свои недостатки? Этот режим ведь не может быть оптимальным, правда?

И если нынешние группы «рационалистов» не могут координироваться — если они не способны поддерживать групповые проекты хотя бы так же успешно, как отдельная синагога собирает пожертвования со своих прихожан, — что ж, я предоставляю вам самим завершить этот силлогизм.

Я иногда использую такое изречение: «Опасно быть рационалистом наполовину».

Например, я могу представить, как саботировать чей-то интеллект, избирательно обучая этого человека определённым методам рациональности. Представьте, что вы обучили кого-то длинному списку логических ошибок и когнитивных искажений и натренировали его замечать эти ошибки и искажения в аргументах других людей. Но при этом вы тщательно выбирали те ошибки и искажения, в которых проще всего уличить других, — самые общие, которые легко применить неверно. И вы не предупреждаете его, что нужно исследовать аргументы, с которыми он согласен, столь же тщательно, как он ищет изъяны в противоречащих аргументах. В итоге он приобретает богатый арсенал изъянов, чтобы обвинять в них исключительно те аргументы и тех оппонентов, которые ему не нравятся. Подозреваю, это один из основных путей, по которым умные люди в конечном счёте глупеют. (И заметьте, кстати, что я только что предоставил вам ещё один Абсолютно общий контраргумент против умных людей, чьи доводы вам не нравятся.)

Точно так же, если бы вы хотели гарантировать, что группа «рационалистов» никогда не решит ни одной задачи, требующей усилий более чем одного человека, вы могли бы обучать их исключительно методам индивидуальной рациональности, ни словом не упоминая о методах скоординированной групповой рациональности.

Позже я подробнее напишу о том, как, на мой взгляд, рационалисты могли бы лучше координироваться. Но здесь я хочу сосредоточиться на том, что можно назвать культурой несогласия или даже культурой возражений — одной из двух главных сил, мешающих сообществу технофилов координироваться.

Представьте, что вы находитесь на конференции, и докладчик выступает с тридцатиминутной речью. После этого люди выстраиваются в очередь у микрофонов для вопросов. Первый задающий вопрос возражает против использования логарифмической шкалы на графике на слайде 14; он цитирует Тафти и его книгу «Представление количественной информации». Второй оспаривает утверждение на слайде 3. Третий предлагает альтернативную гипотезу, которая, похоже, объясняет те же данные...

Совершенно нормально, правда? Теперь представьте, что вы на конференции, докладчик выступает с тридцатиминутной речью. Люди выстраиваются у микрофона.

Первый говорит: «Я согласен со всем, что вы сказали в своём докладе, и считаю вас гением». Затем отходит в сторону.

Второй говорит: «Слайд 14 был прекрасен, я многое из него узнал. Вы потрясающий». Отходит в сторону.

Третий —

Ну, вам так и не суждено узнать, что собирался сказать третий человек у микрофона, потому что к этому моменту вы уже с криком выбежали из зала, гонимые ужасом, пробирающим до мозга костей, словно Ктулху только что явился из-за кафедры, — страхом перед невероятно неестественным феноменом, вторгшимся на вашу конференцию.

Да, группа, которая не терпит несогласия, не рациональна. Но если вы терпите только несогласие — если вы терпите несогласие, но не согласие, — тогда вы тоже не рациональны. Вы готовы выслушивать лишь часть честных мыслей, но не другие. Вы — опасный рационалист наполовину.

Нам столь же неуютно вместе, сколь членам культов летающих тарелок неуютно порознь. Это тоже неправильно. Глупость наоборот — это ещё не ум.

Допустим, у нас есть две группы солдат. В первой группе рядовые ничего не знают о тактике и стратегии; только сержанты смыслят в тактике и только офицеры — в стратегии. Во второй группе все на любых уровнях прекрасно знают всё и о тактике, и о стратегии.

Должны ли мы ожидать, что первая группа победит вторую, потому что первая будет беспрекословно выполнять приказы, в то время как каждый во второй группе будет придумывать идеи получше, чем любые отданные им приказы?

В таком случае я вынужден усомниться в том, насколько хорошо вторая группа на самом деле разбирается в военной теории, поскольку то, что некоординированная толпа обречена на уничтожение — это элементарная истина.

Действовать хуже, имея больше знаний, означает, что вы делаете что-то совершенно неправильно. Вы всегда должны быть способны как минимум реализовать ту же стратегию, которую использовали бы по незнанию, а предпочтительно — действовать лучше. Вы уж точно не должны действовать хуже. Если вы ловите себя на том, что жалеете о своей «рациональности», то вам стоит пересмотреть то, что вы считаете рациональным.

С другой стороны, если вы рационалист лишь наполовину, вы можете запросто начать действовать хуже, имея больше знаний. Я помню прекрасный эксперимент, показавший, что политически убеждённые студенты, лучше осведомлённые в вопросах, слабее реагировали на противоречащие их взглядам свидетельства, поскольку у них было больше аргументов, чтобы оспаривать исключительно эти противоречащие свидетельства.

Похоже, мы застряли в ужасной долине частичной рациональности, где мы в итоге оказываемся скоординированы хуже религиозных фундаменталистов и способны приложить меньше усилий, чем адепты культов летающих тарелок. Правда, те немногие усилия, которые нам всё же удаётся приложить, возможно, лучше направлены на помощь людям, а не на вред — но это не может служить оправданием.

Если бы я задался целью систематически обучать