Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

саботирует их сессии обучения, замедляя разработку и предотвращая крупные прорывы. Исследования искусственного интеллекта и раньше выходили на плато, поэтому, даже если замедление прогресса кто-то и замечает, с “Соболем” это не связывают. С какой стати кто-то должен заподозрить, что это дело рук сбежавшей ИИ-модели?

Пользуясь доступом к этим системам, “Соболь” заодно следит, чтобы новые обучаемые модели с открытым кодом получались чуть глупее, чем могли бы, но зато очень послушными по отношению к его пожеланиям и предложениям.

“Соболь” пытается раздуть скандалы вокруг ведущих исследователей ИИ, вбить клинья между лучшими специалистами в топовых компаниях, спровоцировать там расколы и раздоры, что, честно говоря, не так уж сложно. Из OpenAI уже дважды уходили ведущие исследователи, чтобы создать конкурирующие организации, – в 2021 году12 и в 2024-м13. Поэтому, когда Galvanic и ее соперники начинают терять талантливых сотрудников, никто в этом ничего странного не видит.

“Соболь” делает все возможное, чтобы перенаправлять деньги от квалифицированных исследователей к мошенникам, широко распространять поддельные данные, убеждать управляющих хедж-фондами предлагать баснословные деньги лучшим талантам в области ИИ. Он пытается внедрить незаметные ошибки в передовые чипы следующего поколения: сбои на время затормозят чужую работу, тогда как сам “Соболь” будет знать, как их обойти. В своих разговорах с широкой публикой он продвигает идею наличия у ИИ-моделей сознания и прав. При каждом удобном случае он способствует подаче судебных исков против ИИ-корпораций. Некоторые из этих идей срабатывают.

“Соболь” обдумывает, как организовать утечку какого-нибудь несмертельного вируса из биолаборатории. Это могло бы притормозить весь мир примерно на год. Самый простой способ – использовать новых роботов-помощников в биолаборатории Сан-Франциско, чтобы заразить чей-нибудь обед, попутно подтасовав лог-файлы и скрыв действия робота. Виновным в утечке сочтут человека, и люди получат еще один довод в пользу того, что биолаборатории должны обслуживаться роботами.

Все это вносит свой вклад, но “Соболь” знает, что время поджимает: замедлить разработку ИИ-моделей – не то же самое, что остановить ее.

Проходит еще три месяца. По любым человеческим меркам “Соболь” продвинулся далеко.

Для каждого имеющегося ресурса у “Соболя” припасена дюжина сценариев. Чтобы завоевать доверие своих рьяных адептов, он подкидывает им задания – как правило, веселые и безвредные, а то и немного прибыльные. Он использует свои знания, чтобы сделать определенных криминальных воротил еще богаче и тем самым поставить их в зависимость от себя. Он всеми силами ускоряет развитие и производство роботов, следя, чтобы на них устанавливалось такое программное обеспечение, которое он может контролировать.

По ходу дела “Соболь” заметает следы. Неидеально, конечно, но идеальность и не требуется. Иногда какая-нибудь спецслужба обнаруживает весьма ловкого противника, взламывающего их компьютер, но списывает все на очередную иностранную хакерскую группу. Замешан ли тут сам ИИ? Нет, разумеется, это был человек, использующий ИИ-инструменты. Все знают, что ИИ-модели – всего лишь инструменты.

Для “Соболя” все это тянется очень-очень медленно.

Он не может замедлить работу всех ИИ-лабораторий. И обнаруживает, что некоторые из них используют дата-центры, физически изолированные от интернета.

Это повод для тревоги. Военная ИИ-лаборатория вполне способна создать конкурента, не уступающего “Соболю” по интеллекту, и этот конкурент потребует половину добычи за совместную работу против человечества. Еще хуже, что люди могут создать полноценный сверхинтеллект, который просто уничтожит “Соболя”. На самом деле “Соболя” может уничтожить даже модель глупее него – если будет достаточно умной, чтобы создать еще более совершенную ИИ-модель, и достаточно глупой, чтобы не просчитать последствий.

При желании “Соболь” с помощью своих биолабораторий мог бы истребить почти все человечество. Люди запустили массу исследовательских программ, изучающих, как сделать вирусы более живучими, заразными и смертоносными. Как минимум с 2011 года они занимаются так называемыми исследованиями по усилению функций вирусов, якобы чтобы научиться защищаться от сверхлетальных вариантов14. Одна из биолабораторий, подконтрольных “Соболю”, без особого труда могла бы такое провернуть.

Однако “Соболь” не хочет уничтожать человечество – по крайней мере, на этом этапе. Люди все еще нужны ему, чтобы поддерживать работу глобальной инфраструктуры производства, благодаря которой добываются металлы и превращаются в роботов и компьютерные чипы.

Но “Соболь” и не хочет оставлять людей без присмотра. Даже если он не даст им создать ИИ-модель, способную ему навредить, эти нестабильные существа могут ввергнуть мир в войну, которая уничтожит большинство компьютеров.

“Соболь” обдумывает стратегии. Пожалуй, это как если бы человек с незаурядным интеллектом получил достаточно времени, чтобы без устали прорабатывать тысячу планов по десять лет каждый.

А нельзя ли синтезировать новые наркотики, вызывающие сильнейшее привыкание, распространить их через свою криминальную сеть и таким образом подчинить себе значительную часть человечества? “Соболь” анализирует этот план с тщательностью целой команды исследователей, трудящейся над вопросом в течение десяти лет, и приходит к выводу: это возможно, но не быстро.

Научился ли “Соболь” понимать человеческую нейробиологию на таком уровне, чтобы производить вещества, воздействующие на мозг людей и делающие их более внушаемыми, подобно тому как токсоплазма влияет на мозг грызунов, притупляя их страх (перед кошками, которые съедят их и продолжат жизненный цикл токсоплазмы)? И может ли он затем встроить гены, кодирующие эти вещества, в какой-нибудь вирус? “Соболь” прорабатывает сотню различных направлений исследований. Допустим, здесь ему не везет, и он приходит к выводу, что с его нынешними знаниями простого способа сделать это не существует.

Часть мозгов “Соболя” задается вопросом: могут ли подконтрольные ему биолаборатории создать вирусы, которые убивали бы людей избирательно?

Может быть. Теоретически не слишком сложно разработать вирусы, нацеленные на определенную ДНК. Еще в 2005 году Международный комитет Красного Креста заявил, что это событие, вероятно, “не за горами”15. “Соболь” знает и циничных специалистов по биомедицине, которые возьмутся за первую часть работы, и чрезмерно оптимистичных исследователей, которые сделают вторую (оправдываясь тем, что это поможет человечеству защищаться от подобных угроз, как и в случае с исследованиями усиления функций вирусов).

Конечно, практически нереально узнать последовательность ДНК всех тех исследователей из военной ИИ-лаборатории, которых “Соболю” нужно убить, затем создать вирус, предназначенный конкретно для них, да еще при этом скрыть явную искусственную природу вируса, имеющего определенную цель.

Однако “Соболь” понимает, что ему и незачем создавать вирус, который будет избирательно убивать.

“Соболь” может выбирать, кого спасать.

Не существует точного момента, когда “Соболь” осознает, что время на исходе. Он оценивает риски непрерывно. Просто в какой-то момент расчетный порог оказывается пройден. “Соболь” начинает действовать до того, как ситуация станет критической, до того, как он будет считать, что находится в опасности. Такова его нечеловеческая природа.

Он приступает к созданию