Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Потому что химия не грозит сверхъестественным наказанием в виде вечных пыток за неверие в атомную теорию? Но мы снова уходим в рекурсию и спрашиваем: «Почему?» Почему химики не верят, что за неверие в атомную теорию попадают в ад?

Потому что научные журналы не опубликуют вашу статью, пока вы не предоставите надежные экспериментальные наблюдения ада? Но слишком многие ученые способны подавлять свой скептический рефлекс по собственному желанию. Почему же у химиков нет тайного культа, утверждающего, что не-химики попадут в ад, учитывая, что многие из них и так христиане?

Подобные вопросы не имеют простых односложных ответов. Но я бы утверждал, что один из факторов заключается в принятии продуктивной позиции по отношению к истине в противовес позиции оборонительной.

Когда вы Хранитель Истины, вы не можете сделать для неё ничего полезного, кроме как охранять её. Когда же вы пытаетесь получить Нобелевскую премию по химии, открывая следующий бензол или бакибол, тот, кто ставит под сомнение атомную теорию, кажется вам не столько угрозой вашему мировоззрению, сколько пустой тратой вашего времени.

Когда вы Хранитель Истины, всё, что вы можете делать, — это пытаться предотвратить неизбежное скатывание в энтропию, уничтожая всё, что отклоняется от Истины. Но если есть способ откачивать энтропию — производить новые истинные убеждения вместе с небольшим количеством рассеянного тепла, — то этот же самый насос может сохранять истину живой и без тайной полиции. В химии вы можете воспроизвести эксперименты и убедиться во всем сами — и это сохраняет драгоценную истину без всякого насилия.

И это не такая уж страшная угроза, если мы где-то совершим одну ошибку и ненадолго поверим в какую-нибудь неправду, — ведь завтра мы сможем вернуть утраченные позиции.

Но весь этот трюк работает только потому, что экспериментальный метод является «критерием качества», а не просто «критерием сравнения». Поскольку эксперименты могут восстановить истину без потребности в авторитете, они также могут опровергать авторитеты и создавать новые истинные убеждения там, где их раньше не существовало.

Там, где есть критерии качества, не являющиеся критериями сравнения, могут происходить изменения, которые будут улучшениями, а не угрозами. Там же, где есть только критерии сравнения, где нет возможности выйти за рамки авторитета, нет и способа разрешить разногласия между авторитетами. Разве что путём истребления. Побеждает тот, у кого пушки крупнее.

Я не пытаюсь предложить какую-то грандиозную всеобъемлющую однофакторную картину истории. Но я хочу указать на глубокое психологическое различие между тем, чтобы видеть главное дело своей жизни в защите, охране и сохранении, и тем, чтобы видеть его в открытии, созидании и улучшении. Куда указывает направление «вверх» на оси времени — в прошлое или в будущее? Это различие накладывает отпечаток на всё и пускает свои побеги повсюду.

Вот почему я всегда настаивал, например, что если вы собираетесь рассуждать об «этике ИИ», вам лучше говорить о том, как вы собираетесь улучшить текущее положение дел с помощью ИИ, а не просто о том, как не дать вещам пойти наперекосяк. Как только вы переходите на критерии простого сравнения, вы начинаете терять из виду свои идеалы — упускаете из виду правильное и неправильное и начинаете видеть просто «другое» и «то же самое».

Я также считаю, что это базовое психологическое различие — одна из причин, по которой научная дисциплина, переставшая активно развиваться, обычно озлобляется. (По крайней мере, по утончённым меркам науки. Репутационное убийство выглядит довольно безобидно по историческим меркам; большинство оборонительных систем убеждений предпочитали делать это по-настоящему.) Если крупные потрясения случаются недостаточно часто, чтобы регулярно продвигать молодых учёных за заслуги, а не за конформизм, область перестаёт сопротивляться стандартному вырождению в засилье авторитетов. Когда открытий совершается немного, не остаётся ничего другого, кроме как целыми днями устраивать охоту на еретиков.

Чтобы получить максимальную пользу для психического здоровья от установки «открывать/создавать/улучшать», нужно действительно добиваться прогресса, а не просто надеяться на него.

*

1. Чжуан-цзы и Томас Мертон, Путь Чжуан-цзы (New Directions Publishing, 1965).

114. Хранители генофонда.

Как и любой образованный житель двадцать первого века, вы, возможно, слышали о Второй мировой войне. Возможно, вы помните, что Гитлер и нацисты планировали продолжить романтизированный процесс эволюции, чтобы вывести новую расу господ — сверхлюдей, более сильных и умных, чем кто-либо существовавший ранее.

На самом деле это распространенное заблуждение. Гитлер верил, что арийский сверхчеловек уже существовал в прошлом — нордический стереотип, белокурый голубоглазый хищник, — но был осквернен смешением с нечистыми расами. Произошло расовое грехопадение.

О том, насколько глубоко концепция прогресса пронизывает западную цивилизацию, говорит уже то, что, когда нам рассказывают о нацистской евгенике, мы слышим: «Они пытались вывести сверхчеловека». Вы, дорогой читатель, — если бы вы ошиблись настолько сильно, что поддержали бы принудительную евгенику, — вы попытались бы создать сверхчеловека. Потому что вы помещаете свои идеалы в будущее, а не в прошлое. Потому что вы созидательны. Мысль о том, чтобы путем селекции вернуться к какому-то нордическому архетипу тысячелетней давности, даже не пришла бы вам в голову как возможный вариант — что, просто викинги? И это всё? Если бы вы ошиблись настолько сильно, что решились на убийство, вы бы, черт возьми, попытались достичь невиданных прежде высот — иначе всё это было бы зря, верно? Что ж, дорогой читатель, вот одна из причин, почему вы не нацист.

Это кое-что говорит о том, как трудно относительно здоровым людям поставить себя на место относительно больных: нам рассказывают о нацистах, а мы искажаем эту историю, выставляя их дефектными трансгуманистами.

Дефектными трансгуманистами были как раз коммунисты. «Новый советский человек» и всё в таком роде. Нацисты же в этой истории совершенно точно были биоконсерваторами.

*

115. Хранители Айн Рэнд.

Для скептиков мысль о том, что разум может привести к культу, абсурдна. Характеристики культа находятся в противофазе с разумом на все 180 градусов. Но, как я покажу далее, это не просто может случиться — это уже случилось, и притом с группой, которую следовало бы счесть самым невероятным культом в истории. Это урок о том, что происходит, когда истина становится важнее поиска истины...

— Майкл Шермер, «Самый маловероятный культ в истории»1

Мне кажется, Майкл Шермер излишне