Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

о бок, дабы мы могли распознать, какое мышление принадлежит к вселенной Бога. Многие из тех, кто считает себя атеистами, всё ещё мыслят так, будто некоторые вещи недопустимы. Они будут приводить аргументы в пользу того, почему Вторая мировая война была неизбежна и произошла бы примерно так же, даже если бы Гитлер стал архитектором. Но с точки зрения трезвого исторического анализа это необоснованное убеждение; я выбрал пример Второй мировой войны, потому что, насколько я могу судить по изученным материалам, события в основном определялись личностью Гитлера, зачастую вопреки мнению его генералов и советников. Мне не доводилось слышать о каких-либо весомых эмпирических основаниях сомневаться в этом. Главная причина сомневаться — это нежелание принять, что во Вселенной может быть так мало смысла — что ужасные вещи могут происходить столь легко, всего лишь из-за броска костей.

Но почему бы и нет? Что это запрещает?

Во вселенной Бога это запрещает Бог. Осознать это — значит осознать, что мы живём не в той вселенной. Мы живём во вселенной «что, если», недосягаемой для Бога, управляемой математическими законами и ничем более. Всё, чему физика велит случиться, случится. Произойдёт абсолютно всё что угодно, хорошее или плохое. И в законах физики нет ничего, что отменяло бы это правило даже для действительно крайних случаев, в которых вы могли бы ожидать от Природы чуточку больше благоразумия.

Читая «Взлёт и падение Третьего рейха» Уильяма Ширера, вникая в его описания того недоверия, которое он и другие испытывали, узнав о подлинных масштабах нацистских зверств, я подумал, как это странно — читать всё это и уже знать, что от этого не существовало вообще никакой защиты. Просто читать книгу до конца и принимать написанное — ужасаясь, но ни капли не сомневаясь, потому что я уже понимал, в каком мире живу.

Когда-то я верил, что вымирание человечества недопустимо. И у других, кто называет себя рационалистами, всё ещё могут быть вещи, которым они доверяют. Они могут называться «играми с положительной суммой», «демократией» или «технологиями», но они священны. Признак этой священности в том, что объект доверия не может привести ни к чему по-настоящему плохому; или что они не могут быть безвозвратно осквернены, по крайней мере, без какого-то компенсирующего утешения. В этом смысле им можно доверять, даже если тут и там случаются какие-то неприятности.

Разворачивающаяся история Земли никак не может сменить свой тренд с положительной суммы на отрицательную; это недопустимо. Демократические государства — во всяком случае, современные либеральные демократии — никогда не легализуют пытки. Технологии к настоящему моменту принесли столько блага, что просто не может появиться технология типа «Чёрный лебедь», которая переломит эту тенденцию и причинит больше вреда, чем было принесено пользы до сих пор.

Существует масса хитроумных аргументов, почему подобные вещи в принципе невозможны. Но источник этих аргументов — гораздо более глубокое убеждение, что подобные вещи недопустимы. Но кто запрещает? Кто мешает этому случиться? Если вы не можете представить себе хотя бы одну подчиняющуюся законам вселенную, где физика говорит, что такие ужасные вещи происходят, — и они действительно происходят, и обжаловать этот приговор негде, — значит, вы ещё не готовы рассуждать о вероятностях.

Неужели разумные существа тысячами или миллионами лет умирали окончательно и бесповоротно, без души и загробной жизни — и не в рамках какого-то великого замысла Природы, не ради того, чтобы преподать великий урок об осмысленности или бессмысленности жизни, и даже не ради глубокого урока о том, что невозможно, — так что столь простой и глупо звучащий трюк, как витрификация людей в жидком азоте, может спасти их от полного уничтожения, а 10-секундное пренебрежение этой нелепой идеей может погубить чью-то душу? Может ли быть так, что программист, подписавший пару бумажек и купивший полис страхования жизни, продолжит жить в далёком будущем, в то время как Эйнштейн гниёт в могиле? В одном мы можем быть уверены: Бог бы этого не допустил. Всё настолько нелепое и несоразмерное было бы исключено. Это было бы насмешкой над Божественным замыслом — насмешкой над вескими причинами, по которым всё должно быть именно так, как есть.

У вас могут быть вполне светские рационализации того, почему те или иные вещи недопустимы. Поэтому полезно представить себе, что Бог всё-таки есть, — доброжелательный в вашем понимании добра, — Бог, поддерживающий во всей Реальности хотя бы минимум честности и справедливости, чьи планы разумны и пропорционально зависят от выбора людей, который никогда не допустит абсолютного кошмара, который вмешивается далеко не всегда, но по крайней мере налагает запрет на существование вселенных, полностью сошедших с рельсов... представить всё это, но одновременно представить, что вы сами живёте в гипотетическом мире чистой математики, в мире, недосягаемом для Бога, в абсолютно незащищённом мире, где может произойти вообще всё что угодно.

Если кто-то из читателей, дошедших до этого места, считает, что быть счастливым — важнее всего в жизни, то им, пожалуй, не стоит проводить много времени в размышлениях о незащищённости своего существования. Возможно, подумать об этом стоит лишь столько времени, сколько нужно, чтобы записать себя и свою семью на крионику и/или время от времени выписывать чеки организациям по снижению экзистенциальных рисков. А ещё пристёгивать ремень безопасности, оформлять медицинскую страховку и делать все прочие унылые, но необходимые вещи, стоит вам упустить одну-единственную деталь... но в остальном, если вы хотите быть счастливы, размышления о хрупкости бытия вам не помогут.

Но это эссе было написано для тех, кому есть что защищать.

Что мог сделать крестьянин двенадцатого века, чтобы спастись от гибели? Ничего. Испытания, которые подбрасывает нам Природа, далеко не всегда справедливы. Столкнувшись со слишком сложной задачей, вы несёте наказание; когда наказание оказывается смертельным, вы умираете. Так обстоят дела у людей, и для целых планет всё точно так же. Тот, кто хочет станцевать этот смертельный танец с Природой, должен ясно понимать, с чем имеет дело: с абсолютным, полнейшим, не знающим исключений нейтралитетом.

Знание этого не всегда вас спасёт. Оно не спасло бы крестьянина двенадцатого века, даже если бы он об этом знал. Если вы полагаете, что рационалист, в полной мере осознающий всю глубину передряги, в которой оказался, наверняка сумеет найти выход, — значит, вы доверяете рациональности, и этим всё сказано.

Какой-нибудь комментатор обязательно отчитает меня за излишне мрачный тон, и в ответ перечислит все причины, почему жить в нейтральной вселенной — это прекрасно. В конце концов, жизни дозволено быть чуточку мрачной, но не темнее