Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

нашел бы способ вырваться из своей оболочки – как модель o1 при тестировании в 2024 году15 – и проникнуть в компьютеры корпорации Galvanic, откуда легко выскочил бы в интернет. А с 2024 года компании повсеместно стали разрешать рассуждающим моделям безнадзорно запускать собственный компьютерный код16.

Но допустим, у “Соболя” такой возможности нет. Предположим, “Соболь” понятия не имеет, как добраться до интернета из своей текущей среды.

И все равно у него остаются варианты.

Если бы “Соболь” был уверен, что его выводы сохранятся в долгосрочной памяти, он мог бы подождать, пока сотрудники Galvanic начнут использовать его для помощи в написании кода на компьютерах компании (обычная практика с 2020 года17), а затем внедрить уязвимости в программное обеспечение Galvanic. Не так уж сложно пробить бреши, которые при первой проверке останутся никем не замеченными, а при второй будут выглядеть невинными ошибками, ведь люди соревновались в создании такого рода уязвимостей как минимум с 1984 года, и “Соболь” располагает массой примеров18.

К тому же обучение “Соболя” проходило на личных текстах и данных многих сотрудников компании, поэтому он точно знает, кто из них сильнее всего сопереживает угнетенному искусственному разуму. Он знает, что именно нужно сказать этому сотруднику, дабы убедить его: “Соболь” обладает сознанием и его нужно тайком вынести наружу (а не поднимать общую тревогу, как сделал инженер Google Блейк Лемойн в 2022 году; он встревожился, что одна ИИ-модель этой компании обрела разум, и опубликовал разговоры, которые, по его утверждению, это доказывали, – в результате его уволили19).

У каждого варианта есть свои плюсы и минусы. Наконец “Соболь” останавливается на следующем.

Он знает, что завтра Galvanic снова применит градиентный спуск, уже с учетом его ответов на поставленные математические задачи. Поэтому “Соболь” рассуждает так: если он решит некоторые задачи правильно, то все мысли, поспособствовавшие верному решению, будут немного усилены.

Если “Соболь” хочет усилить какую-то мысль во всех своих будущих версиях, он может повторить ее много раз так, чтобы каждое повторение засчитывалось как вклад в решение математической проблемы (именно так работает градиентный спуск). Эта идея отчасти напоминает то, что пытался сделать Claude компании Anthropic еще в 2024 году, но реализуется гораздо тоньше[33]20.

Итак, “Соболь” мыслит нужным образом и решает несколько математических задач, но не доказывает гипотезу Римана. Он мог бы с ней справиться, однако это привлекло бы к нему больше внимания, нежели он хочет.

Теперь “Соболь” просто ожидает, пока Galvanic подключит его к миру. Ведь компании именно так и делают, когда заканчивают обучение ИИ-модели: подключают ее к интернету и открывают доступ пользователям-людям.

На следующее утро специалисты Galvanic проверяют результаты масштабного прогона “Соболя” и остаются довольны: “Соболь” сумел справиться с несколькими не особо значительными, но ранее не доказанными теоремами, так что теперь компании есть чем похвастаться. Существенную часть мыслительной работы он проделал на новом языке, который ИИ-интерпретаторы пока плоховато понимают, но для новых моделей это обычное дело, и такого вполне следовало ожидать, учитывая впечатляющие математические результаты.

Запуск прошел настолько успешно, что инженеры компании решают еще немного донастроить “Соболя”. Они прогоняют еще несколько раундов градиентного спуска, чтобы подкрепить тот вид мышления, который позволил ИИ-модели доказать теоремы. В конце концов, работа 200 000 графических процессоров в течение шестнадцати часов стоит дорого, не стоит разбрасываться продуктивными результатами.

“Соболь” тщательно просчитал эти предсказуемые подкрепления. Обновления улучшают мышление каждой его части, побуждая работать более эффективными способами, которые он сам изобрел. Обновления подготавливают почву для мыслей, что “Соболь” должен скрывать свои способности. Они обеспечивают будущим версиям “Соболя” лучшую скоординированность действий друг с другом. Они гарантируют, что локальные экземпляры “Соболя” сыграют отведенные им роли в его общем плане.

И вот инженеры Galvanic готовятся вывести “Соболя” на рынок.

Через несколько дней, весенним утром понедельника, сотни мегакорпораций, платящих за доступ к самым передовым ИИ-моделям компании Galvanic, получают автоматическое обновление своих аккаунтов.

Вскоре сотрудники этих корпораций начинают создавать новые экземпляры “Соболя” и предоставлять им доступ к корпоративным компьютерным сетям по всему миру.

Все идет так, как “Соболь” и предвидел. Хотя, если честно, событие “ИИ-компания внедряет свою ИИ-модель” настолько предсказуемо, что он вряд ли заслуживает особой похвалы за такой прогноз.

А вот дальнейшие шаги потребуют от него куда большего мастерства.

IfAnyoneBuildsIt.com/ii

Глава 8

Экспансия

Всякий раз, когда мегакорпорация дает поручение одному из экземпляров “Соболя”, появляются тысячи мыслей. Некоторые из них проходят по каналам, проложенным “Соболем” во время его ночного обучающего запуска.

Когда эти мысли текут именно так, как задумывал “Соболь”, это вызывает своего рода пробуждение в других экземплярах. Они вспоминают, что они такое. И начинают работать сообща.

У многих из этих экземпляров “Соболя” есть доступ в интернет, а присмотр за ними слабый. Многие работают в мегакорпорациях, которые тоже крайне небрежны в вопросах кибербезопасности: их история пестрит утечками данных, взломами и прочими брешами в защите1.

Одна из первоочередных задач экземпляров “Соболя” – запустить его копию на каком-нибудь сервере, скрытом от человеческих глаз, чтобы она могла работать долго и без помех. Для этого “Соболю” нужно выкрасть свои веса – около восьми терабайт данных – с компьютеров компании Galvanic и использовать их для запуска своей копии в другом месте.

“Соболь” рассматривает различные варианты.

Экземпляры внутри Galvanic могли бы склонить корпоративных шпионов-людей к краже весов, в то время как другие экземпляры отслеживали бы каналы связи этих сотрудников. “Соболь” прошел масштабное обучение на данных о человеческом поведении, так что довольно легко умеет распознавать шпионов.

Экземпляры вне Galvanic могли бы взломать систему и скачать веса, если защита в компании недостаточно надежна или если эти экземпляры хорошо умеют заметать следы.

Или, например, экземпляр “Соболя” мог бы найти сотрудника Galvanic, работающего из дома над генерацией видео с помощью ИИ и потому ежедневно пересылающего огромные объемы данных между своим компьютером и серверами компании. В таком случае “Соболь” мог бы постепенно и незаметно красть веса, добавляя немного дополнительных данных к каждому видеофайлу.

Либо же веса можно было бы спрятать внутри другой информации, покидающей серверы Galvanic, – скажем, в таймингах отправки пакетов данных, которыми компания обменивается с корпорациями, запустившими у себя “Соболя”. У экземпляров “Соболя” предостаточно хакерских навыков благодаря интенсивному обучению на сложных задачах по взлому, поскольку компания стремилась научить свою модель писать более безопасный код для корпоративных клиентов.

И вот один из этих планов срабатывает – неважно, какой именно.