Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Однажды из столицы пришла весть, что король ищет алхимиков, способных превратить свинец в золото, и готов щедро финансировать любого, кто попытается это сделать. Любому алхимику, желающему воспользоваться королевскими средствами, нужно было лишь доказать, что он уже умеет изготавливать Царскую водку, и принести для неё собственные реагенты.

Награда была великолепна: тот, кому это удастся, получит руку принцессы, а король пожалует победителю столько денег, что их хватит, чтобы обогатить не только его самого, но и каждого жителя его родного города так, как те и мечтать не смели.

Но король, опасаясь тех, кто лишь зря потратит его время, объявил, что любой алхимик, который потерпит неудачу, впустую растратив королевское время и деньги, будет не просто казнен — вместе с ним казнят и весь его родной город. Вот таким он был королем.

— Ну, вообще-то раньше я этого никогда не делал, — сказал один молодой алхимик, — но чувствую, что близок к разгадке. Если нагреть свинец с галмеем, он начинает отливать латунью. Скорее всего, до успеха мне не хватает лишь чуть больше галмея или чуть больше тепла. Я пойду и попытаю счастья!

— Пожалуйста, не надо, — сказала его сестра.

— Я обязан, — ответил юноша, спешно запихивая одежду и тетради в дорожную сумку. — В нашем городе много алхимиков, и если я не попробую, кто-то другой перехватит инициативу, заберет принцессу и награду. А другие смыслят в алхимии хуже меня и к тому же более эгоистичны. Именно я должен пройти это испытание ради нашего города!

— Я не хочу умирать, — сказала сестра. — И я не хочу, чтобы умирала наша соседка-прачка; она всегда была добра ко мне и очень любит своего ребенка.

— Тогда ты должна подталкивать меня к этой поездке, — возразил юноша, принимаясь более аккуратно упаковывать свой небольшой запас алхимических реагентов, половина из которых досталась ему в наследство от покойного мастера. — На королевские призовые деньги мы могли бы сделать столько добра! У нас было бы полно еды, и мы больше никогда не голодали бы. Мы могли бы нанять лучших врачей королевства для лечения любой болезни, какая только может случиться у жителей нашего города.

— Это было бы чудесно, — сказала сестра, — но ты ведь не знаешь, как превратить свинец в золото. Мы не получим королевских денег, мы просто умрем.

— Думаю, у меня может получиться. Когда я кипячу свинец в выдержанной моче и сере, он начинает отливать желтизной. Ни у одного другого алхимика нет шансов лучше, чем у меня. Если я не пойду, вместо меня туда отправится какой-нибудь дурак и погубит нас всех.

— А что если ты пойдешь к городским старейшинам и скажешь им, что они должны запретить любому алхимику покидать город, иначе мы все погибнем? — спросила сестра. — Ты все равно сможешь уехать в столицу, если старейшины ничего не предпримут, но умоляй их остановить всех алхимиков, включая тебя.

Юноша раздумывал над этим от силы полсекунды, а затем ответил: — Что? Мы с тобой вообще в одном городе живем? Старейшины почти никогда ни в чем не сходятся! Да и невозможно запретить всем алхимикам покидать город до окончания королевского испытания. Подумай о неудобствах, подумай о расходах! Право слово, я считаю, что если я просто пойду сам, это будет наш лучший шанс.

— Ты потерпишь неудачу! — в отчаянии закричала сестра. — Вы все потерпите неудачу! В этом состязании не будет победителей, кроме Смерти! Ты должен пойти к старейшинам и сказать им это — что никому из практикующих алхимию нельзя разрешать отправляться в столицу, что ингредиенты для приготовления Царской водки должны храниться под замком! Король поступает несправедливо; нечестно карать целый город за то, что в нем нашелся один самовлюбленный алхимик, способный приготовить Царскую водку, но не умеющий превращать свинец в золото! Мы не можем изменить несправедливые правила королевского испытания, но мы должны сделать все возможное, чтобы держаться от него подальше, иначе мы погибнем!

— Почему ты так уверена, что никто из нас не может превратить свинец в золото? — спросил юноша. — Я не знаю ни одного закона алхимии, который доказывал бы, что у меня это не получится.

В ПРЕДЫДУЩЕЙ ГЛАВЕ МЫ РАССМОТРЕЛИ НЕКОТОРЫЕ ПРИЧИНЫ, ПОЧЕМУ создать машинный сверхинтеллект, который нас не убьет, будет крайне непросто.

Но уровень сложности — лишь половина дела. Вторая половина — это уровень игры, который демонстрирует человечество перед лицом этого вызова.

Возможно, вы не верите нашим доводам о предсказуемых причинах, по которым направлять развитие сверхинтеллекта невероятно сложно. Но существует и другой, независимый аргумент в пользу неминуемой катастрофы — иной набор исторических уроков: люди порой умудряются проваливать даже простые задачи, не говоря уже о сложных.

Компания United States Radium Corporation работала с радиоактивными материалами и погубила своих сотрудников. Но произошло это вовсе не из-за ошибок в сложных и мудреных вычислениях ядерной инженерии. А из-за того, что работникам просто приказали облизывать покрытые радием кисточки.

Какой же уровень игры демонстрирует человечество в деле направления развития искусственного сверхинтеллекта?

Илон Маск, глава крупной ИИ-лаборатории под названием xAI, в интервью 2023 года поделился своим планом по выравниванию сверхинтеллекта:

Я собираюсь запустить проект под названием TruthGPT. Или ИИ, максимально стремящийся к истине, который пытается понять природу Вселенной.

Думаю, это может быть лучшим путем к безопасности в том смысле, что ИИ, стремящийся понять Вселенную, вряд ли станет уничтожать людей, ведь мы — интересная часть Вселенной.

Этот план никак не решает стоящую перед нами проблему по причинам, которые мы уже обсуждали ранее в этой книге: никто не знает, как заложить в ИИ конкретные желания, будь они хоть трижды идеалистическими. К тому же, даже ИИ, стремящийся познать Вселенную, скорее всего, уничтожит человечество в качестве побочного эффекта, потому что из всех возможных способов упорядочить материю люди — далеко не самый эффективный способ производства истин или постижения Вселенной.

Мы уважаем успехи Маска в других областях, включая электромобили и многоразовые ракеты. Посадка ракет целыми и невредимыми — это сложнейшая инженерная задача, с которой Маск и его команда регулярно справляются. Но этот успех опирается на гораздо более прочные инженерные принципы. Почему же в случае с ИИ он уповает на расплывчатые идеалистические банальности? С таким