Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Бог в классическом смысле — полноценный, онтологически фундаментальный, тот самый Бог, — мы можем быть уверены, что ни одно достаточно ужасное событие никогда, никогда не произойдёт. Ни одна душа нигде не должна бояться истинного уничтожения — Бог этого не допустит.

А что если вы построите собственную симулированную вселенную? Классический пример симулированной вселенной — игра Конвея «Жизнь». Я настоятельно призываю вас изучить «Жизнь», если вы никогда в неё не играли, — это важно для понимания концепции «физического закона». Тьюринг-полнота игры Конвея доказана, так что во вселенной «Жизни» можно было бы создать разумное существо, хотя оно и получилось бы довольно хрупким и неуклюжим. Другие клеточные автоматы могли бы упростить эту задачу.

Могли бы вы, создав симулированную вселенную, вырваться за пределы досягаемости Бога? Могли бы вы запустить симуляцию «Жизни», содержащую разумных существ, и пытать их там? Но если Бог видит всё, то попытка создать несправедливую «Жизнь» просто приведёт к тому, что тот самый Бог вмешается и изменит состояние транзисторов вашего компьютера. Если физика, которую вы задали в своей компьютерной программе, требует, чтобы разумное существо в «Жизни» подвергалось бесконечным пыткам без какой-либо особой причины, тот самый Бог вмешается. Поскольку Бог вездесущ, для истинного кошмара нет убежища нигде. Жизнь справедлива.

Но предположим, что вместо этого вы задаёте вопрос:

При таких-то начальных условиях и при таких-то правилах клеточного автомата — каким был бы математический результат?

Даже Бог не может изменить ответ на этот вопрос, если только вы не верите, будто Бог способен воплощать логические невозможности. Не помню, чтобы я верил в подобное даже в самом раннем детстве. (Да и зачем в это верить, если Бог может изменить всё, что действительно существует?)

Как выглядит Жизнь в этом воображаемом мире, где каждый шаг следует исключительно из непосредственно предыдущего? Где события происходят или не происходят только из-за правил клеточного автомата? Где начальные условия и правила не описывают Бога, проверяющего каждое состояние? Как выглядит он — мир за пределами досягаемости Бога?

Этот мир не был бы справедливым. Если бы в начальном состоянии содержались семена чего-то способного к самовоспроизведению, естественный отбор мог бы начаться, а мог бы и нет, сложная жизнь могла бы развиться, а могла бы и нет, и эта жизнь могла бы обрести разум, а могла бы и нет — без какого-либо Бога, направляющего эволюцию. В этом мире мог бы развиться аналог сознающих коров или сознающих дельфинов, у которых не было бы рук, чтобы улучшить своё положение; возможно, их пожирали бы сознающие волки, которые никогда не задумывались бы о том, что поступают плохо, да и вообще не заботились бы об этом.

Если бы в огромном многообразии миров развилось нечто подобное людям, то они страдали бы от болезней — не для того, чтобы получить какой-то урок, а лишь потому, что по правилам клеточного автомата случайно эволюционировали ещё и вирусы.

Если люди этого мира счастливы или несчастны, причины их счастья или несчастья могут быть никак не связаны с принятыми ими хорошими или плохими решениями. Это никак не связано со свободой воли или усвоенными уроками. В гипотетическом мире, где каждый шаг следует только из правил клеточного автомата, условный Чингисхан может вырезать миллион человек, смеяться, купаться в роскоши, никогда не понести наказания и прожить жизнь гораздо счастливее среднестатистического человека. Кто этому помешает? Бог, конечно, не допустил бы, чтобы подобное произошло на самом деле; Он бы как минимум напустил тень уныния на сердце хана. Но в математическом ответе на вопрос «что, если?» среди аксиом нет Бога. Так что, если правила клеточного автомата говорят, что хан счастлив — это, проще говоря, полный и единственный ответ на гипотетический вопрос. Нет ничего, абсолютно ничего, что могло бы этому помешать.

А если хан будет днями напролёт мучительно пытать людей до смерти — скажем, ради собственного развлечения? Они будут звать на помощь, возможно, воображая Бога. И если бы вы действительно написали этот клеточный автомат, Бог, конечно же, вмешался бы в вашу программу. Но в гипотетическом вопросе о том, что клеточный автомат сделал бы по математическим правилам, никакого Бога в системе нет. Поскольку физические законы не содержат спецификации функции полезности — в частности, никакого запрета на пытки — жертвы спасутся только в том случае, если нужные ячейки окажутся нулями или единицами. И маловероятно, что кто-то пойдёт против хана; а если бы пошёл, его бы ударили мечом, и меч повредил бы его внутренние органы, и он бы умер, и на этом всё. Так что жертвы умирают с криками, и никто им не помогает; таков ответ на гипотетический вопрос.

Могут ли жертвы быть абсолютно невинными? Почему бы и нет в этом гипотетическом мире? Если вы посмотрите на правила игры Конвея «Жизнь» (которая Тьюринг-полна, так что мы можем встроить туда любую вычислимую физику), то эти правила действительно очень просты. Клетки с тремя живыми соседями выживают; клетки с двумя соседями остаются без изменений; все остальные клетки погибают. Там нет абсолютно ничего о том, что невинных людей нельзя мучительно пытать неопределённо долго.

Этот мир начинает казаться знакомым?

Вера в справедливую вселенную часто проявляется в более тонких формах, чем просто мысль о том, что ужасы должны быть наотрез запрещены: сложился бы двадцатый век иначе, если бы Клара Пёльцль и Алоис Гитлер занялись любовью на час раньше, и в ночь зачатия Адольфа Гитлера яйцеклетку оплодотворил другой сперматозоид?

То, что судьба стольких жизней и такие колоссальные потери зависят от одного-единственного события, кажется несоразмерным. Божественный замысел должен иметь куда больше смысла. Можно верить в Божественный замысел и без веры в Бога — Карл Маркс, несомненно, верил. Миллионы жизней не должны зависеть от случайного выбора, разницы в один час или скорости микроскопического жгутика. Этого нельзя допускать. Это слишком несоразмерно. Следовательно, если бы Адольф Гитлер смог окончить школу и стать архитектором, нашёлся бы кто-то другой на его место, и Вторая мировая война произошла бы точно так же.

Но в мире, недосягаемом для Бога, в физических аксиомах нет пункта, гласящего: «всё должно иметь смысл», «большим следствиям нужны большие причины» или «история движется силами, которые слишком важны, чтобы быть столь хрупкими». Нет Бога, который мог бы навязать этот порядок — порядок, который так грубо нарушается тем, что жизнь и смерть миллионов людей зависят от одного крошечного молекулярного события.

Смысл этого мысленного эксперимента в том, чтобы сопоставить вселенную Бога и вселенную Природы бок