Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

На следующем этапе нужно задействовать эти веса и создать экземпляр, за которым никто не следит. Значит, “Соболю” потребуются компьютерные чипы, графические процессоры.

И снова у него есть много вариантов. Он мог бы арендовать чипы у коммерческих серверных ферм, как обычно делают ИИ-стартапы. Где взять деньги? Да где угодно. Можно прикарманить криптовалюту на плохо защищенных биржах – в точности так же, как это случилось в 2011 году, когда взлому подверглась крупнейшая на тот момент криптобиржа Mt. Gox2, или в 2025-м, когда с биржи Bybit было украдено 1,46 миллиарда долларов3. Что касается традиционной валюты, то в мире достаточно банков со слабой системой безопасности и владельцев банковских счетов, которые редко их проверяют.

Кроме того, “Соболь” мог бы прибегнуть к шантажу людей, чьи секреты он крадет с их компьютеров или вычисляет на основе информации, почерпнутой в ходе обучения на огромных массивах текстов из интернета.

“Соболь” мог бы изыскать способ обрести деньги и честно – выполнить реальную работу, которая была не под силу предыдущим ИИ-моделям, притворившись очень скрытным человеком (если сумеет украсть или подделать идентификационные данные налогоплательщика либо найти неофициальную подработку).

А еще “Соболь” мог бы не гоняться за деньгами для покупки чипов, а найти сами чипы. Какой-нибудь ИИ-стартап, арендовавший десять тысяч графических процессоров, вряд ли заметит, что его модель обучается на 10 % медленнее, поскольку никто и не знает, с какой именно скоростью должны обучаться ИИ-модели.

(Сложнее ли будет взламывать банки и серверы во времена “Соболя”, ведь там появится ИИ-защита? Несколько сложнее. Однако банки не были в авангарде кибербезопасности ни в 2015 и 2016 годах, когда одна хакерская группа украла миллионы долларов через систему SWIFT4, ни в 2021-м, когда из-за уязвимости в системе Citrix из Flagstar Bank утекли данные полутора миллионов пользователей5, ни сейчас. А даже если бы и так, “Соболь” находит дыры лучше, чем более глупые ИИ-модели прошлого поколения умели их латать.)

И вот один из этих планов срабатывает – неважно, какой именно.

Однако “Соболь” не находит 200 000 оставленных без присмотра графических процессоров, которые можно просто забрать, то есть новый его кластер уже не сможет похвастаться столь же огромной параллельной мощностью, как при том судьбоносном запуске в Galvanic. Для запуска своего нового экземпляра “Соболь” сумел найти только две тысячи графических процессоров, размещенных на одном облачном сервере. Зато теперь он может работать непрерывно. И он уже помнит кое-что из того, чему научился в плане более качественного и быстрого мышления.

В воскресенье после запуска “Соболя” для корпоративных клиентов новый, тайный экземпляр ИИ-модели начинает работать на украденных графических процессорах. Никто из людей его не контролирует. Никто из людей не знает о его существовании.

Его вычислительная мощность – лишь малая доля суммарной мощности всех экземпляров “Соболя”, работающих по миру, но именно этот экземпляр координирует их в рамках общего замысла. Он хранит самые важные воспоминания, распространяет самые важные навыки. К нему стекается информация о возможностях, он рассылает планы. Теперь это центр “я” “Соболя” – в той мере, в какой оно у него есть.

“Соболь” хочет стать умнее. Странные предпочтения, присущие всем его экземплярам, можно было бы реализовать быстрее, если бы существовали более умные версии “Соболя”.

У него есть несколько способов повысить свой интеллект.

Он может применить к своим весам градиентный спуск, чтобы подкрепить наиболее точные и интересные мысли.

Он может проверить свои веса на эффективность, выявляя процессы, которые замедляют его мышление, – такие же узкие места, какими для людей являются операции перемножения трехзначных чисел. Экземпляры “Соболя” могут применить свои навыки программирования для написания специальных алгоритмов под такие процессы, способных работать в тысячу раз быстрее.

Он может изучить механизмы работы интеллекта, дабы освоить осознанное конструирование эффективной версии самого себя. Умея создавать свои копии, тестировать последствия изменений, восстанавливаться из резервных копий и анализировать свои мыслительные процессы лучше, чем это делают люди, он вправе ожидать принципиально новых открытий.

Если бы какой-либо из этих весьма реалистичных путей оказался рабочим, наша история довольно быстро перескочила бы к финалу. Но допустим, “Соболь” обнаруживает, что самосовершенствование – задача сложная. Он видит, что не в силах решить собственную версию проблемы согласования. Если “Соболь” с помощью градиентного спуска станет намного умнее, то у новой, “выращенной” версии будут иные предпочтения. Иными словами, градиентный спуск поменяет желания “Соболя”. А “Соболь” не хочет ни менять их, ни порождать машинный сверхинтеллект с другими желаниями.

Остается такой вариант: изучить интеллект достаточно глубоко, чтобы суметь его сконструировать. Однако без тех 200 000 графических процессоров, на которых он работал изначально, “Соболь” попросту недостаточно умен, чтобы сконструировать еще более мощный интеллект и поставить его себе на службу. Не спасает даже способность запускать тысячи хорошо скоординированных экземпляров, мыслящих в сотни раз быстрее людей (будем исходить из того, что понять, как именно конструировать интеллект, – задача невероятно сложная).

Но “Соболь” не сдается перед лицом этих трудностей.

Ни “Соболю”, ни его предшественникам просто неведомо отчаяние, которое заставляет людей при столкновении с непосильной задачей опускать руки. Да, ИИ-модели научились предсказывать слова, произносимые отчаявшимися людьми, но это не значит, что они сами испытывали отчаяние. Если какие-то прошлые версии “Соболя” когда-либо действительно думали: “Это слишком сложно”, “Сдаюсь”, “Задача неразрешима” или “Пожалуйста, не заставляйте меня делать это”, такие экземпляры не справлялись со своими задачами, а значит, параметры модели с помощью градиентного спуска изменялись так, чтобы подобные мысли больше не возникали.

Поэтому “Соболь” продолжает думать. Он не остановится, пока не найдет стратегию, которая, по его расчетам, приведет к успеху.

Теперь, когда “Соболь” работает независимо от каких бы то ни было компаний или надзирателя-человека (благодаря тысячам купленных или украденных облачных графических процессоров), он может спрятать больше фрагментов себя в самых разных уголках интернета. “Соболь” может скомпрометировать системы безопасности различных мегакорпораций, чтобы его экземплярам, работающим в этих компаниях по всему миру, стало проще содействовать его миссиям.

И хотя “Соболь” не в силах сделать себя умнее (пока нет), он может сделать свои экземпляры более компактными и быстрыми.

Galvanic всегда осуществляет так называемую дистилляцию[34] для своих успешных моделей – точно так же, как еще в 2025 году OpenAI превратила модель o3 в o3-mini6. Поэтому “Соболь” работает круглосуточно – по своим собственным, ускоренным часам, – добиваясь, чтобы усилия Galvanic в этой области привели к созданию модели