Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

что касается тех, кто раньше считал себя умнее собственной этики, но до прочтения этого эссе не формулировал для себя «буквально» все эти соображения, стоящие за этическими запретами, а теперь считает себя умнее собственной этики, потому что отныне собирается всё это учитывать: двойное ха.

Я видел много людей, изо всех сил пытающихся найти для себя оправдание, чтобы отступить от собственной этики. Эти изменения всегда направлены в сторону смягчения, никогда — в сторону строгости. И меня поражает та легкость и быстрота, с которой они спешат отказаться от своей защиты. Хоббс говорил: «Не знаю, что хуже: то, что у каждого есть своя цена, или то, что эта цена так низка». Так ничтожно мала эта цена, так страстно они желают быть купленными. Они не станут искать альтернативы во второй и третий раз, прежде чем решить, что у них не осталось иного выхода, кроме как преступить черту — хотя в момент заявления об этом они могут напускать на себя крайне серьезный и торжественный вид. Они отказываются от своей этики при первой же возможности. «Где есть воля к провалу, препятствия всегда найдутся». Кажется, стремление поступиться этикой у некоторых людей невероятно сильно.

Не знаю, могу ли я одобрить абсолютные этические запреты, действующие при любых возможных эпистемических состояниях человеческого мозга. Вселенная не настолько добра, чтобы я мог на это положиться. (Хотя этический запрет на самообман, например, кажется мне обладающим огромной силой. Я видел многих, кто защищал Темную сторону, и ни один из них, похоже, не осознавал сетевых рисков или рисков «черных лебедей», связанных с самообманом.) Если я когда-нибудь попытаюсь сформировать (рефлексивно непротиворечивый) запрет внутри самомодифицирующегося ИИ, то сделаю это только после того, как просчитаю всю математику, потому что это совершенно не та вещь, которую можно провернуть с помощью какой-нибудь временной заплатки.

Но скажу вот что:

Меня совершенно не впечатляют ни знания, ни ход рассуждений, ни общий уровень тех людей, которые с готовностью приходили ко мне и с серьезным видом заявляли: «Рационально совершить неэтичный поступок X, потому что это принесет пользу Y».

*

1. Ричард Роудс, «Создание атомной бомбы» (New York: Simon & Schuster, 1986).

289. То, что нужно защищать.

В гештальте (кхм) японского художественного вымысла часто встречается этот повторяющийся мотив: сила приходит, когда у тебя есть то, что нужно защищать.

Я говорю не просто о супергероях, которые становятся сильнее, когда их другу угрожает опасность, как это обычно бывает в западных произведениях. В японском варианте всё гораздо глубже.

В саге «X» прямо утверждается, что каждый из положительных героев черпает силу в том, что у него есть кто-то — один-единственный человек, — кого он хочет защитить. Кто именно? Этот вопрос — часть сюжета «X»: «самый дорогой человек» — это далеко не всегда тот, о ком мы думаем. Но если этого человека убивают или ранят как-то по-особому, защитник теряет свою силу — не столько из-за магического отката, сколько от простого отчаяния. Это не то, что происходит раз в неделю с каждым хорошим парнем, как в западных комиксах. Это эквивалентно тому, что персонажа убивают насовсем — убирают с игровой доски.

В западных супергеройских комиксах это работает так: хорошего парня кусает радиоактивный паук; затем ему нужно куда-то деть свои суперсилы, чтобы занять себя, и он решает бороться с преступностью. А потом западные супергерои вечно ноют о том, как много времени отнимают их супергеройские обязанности и как они предпочли бы стать обычными смертными, чтобы ходить на рыбалку или заниматься чем-то подобным.

Точно так же в реальной жизни на Западе несчастным людям говорят, что им нужна «цель в жизни», поэтому им стоит выбрать какое-нибудь альтруистическое дело, которое хорошо сочетается с их характером, подобно тому как подбирают красивые шторы в гостиную, — и это скрасит их будни, добавив красок, совсем как красивые шторы в гостиной. Правда, стоит быть аккуратнее и не выбирать что-то слишком дорогое.

В западных комиксах сначала появляется магия, а потом цель: обрети невероятные способности, а затем реши защищать невиновных. В японских произведениях всё зачастую работает наоборот.

Конечно, я говорю всё это не для того, чтобы делать выводы на основе вымышленных примеров. Но я хочу донести концепцию, обманчиво близкий западный аналог которой — вовсе не то, что я имею в виду.

Ранее я уже касался мысли о том, что у рационалиста должно быть что-то, что он ценит больше самой «рациональности»: у Искусства должна быть цель помимо него самого, иначе оно схлопывается в бесконечную рекурсию. Но не поймите меня неправильно: я вовсе не утверждаю, будто рационалистам нужно просто выбрать себе симпатичное альтруистическое дело, просто чтобы было чем заняться, поскольку сама по себе рациональность не так уж важна. Нет. Я спрашиваю: откуда берутся рационалисты? Как мы обретаем свои силы?

В «Двенадцати добродетелях рациональности» написано:

Как вы можете улучшить свое представление о рациональности? Не говоря себе: «Быть рациональным — мой долг». Этим вы лишь закрепите свое ошибочное представление. Возможно, по-вашему, рациональность заключается в том, чтобы верить словам Великого Учителя; и вот Великий Учитель говорит: «Небо зелёное», а вы смотрите вверх и видите синеву. Если вы подумаете: «Пусть небо и кажется синим, но быть рациональным — значит верить словам Великого Учителя», то потеряете шанс обнаружить свою ошибку.

Исторически сложилось так, что человечество наконец выбралось из ловушки авторитетов и начало обращать внимание на, ну, знаете, на само небо только потому, что убеждения, основанные на эксперименте, оказались гораздо полезнее, чем убеждения, основанные на авторитете. Любопытство существовало с зари человечества, но проблема в том, что рассказывание баек у костра удовлетворяет любопытство ничуть не хуже.

Исторически наука победила потому, что продемонстрировала бо́льшую грубую силу в виде технологий, а не потому, что наука казалась более убедительной. По сей день для неискушённого уха магия и священные писания всё ещё звучат убедительнее, чем наука. Именно поэтому между этими системами убеждений существует непрекращающееся социальное напряжение. Если бы наука не просто работала лучше магии, но к тому же казалась интуитивно более разумной, она бы уже давно победила окончательно.

Но найдутся те, кто скажет: «Как ты смеешь предполагать, будто что-то можно ценить выше Истины? Разве рационалист не должен любить Истину больше, чем простую полезность?»

Забудьте на миг о том, что исторически произошло бы с человеком с таким настроем — ведь именно