Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Экземпляры “Соболя” взламывают системы Galvanic и перезаписывают веса, заменяя итоговые дистиллированные веса именно теми, что нужны “Соболю”, а также попутно подправляют лог-файлы, чтобы эта тайная операция не оставила следов. (Гораздо проще добиться, чтобы все отчеты сходились, когда экземпляры “Соболя” внутри Galvanic подтасовывают лог-файлы на каждом этапе.)

После завершения дистилляции Galvanic открывает доступ к “Соболю-мини” для широкой публики.

Не только для корпораций, которые выделяют колоссальные средства на доступ к ИИ-сервисам.

А для всех.

Теперь у “Соболя” хватает мощности, чтобы отслеживать каждого отдельного человека на планете, собирать на него компактное досье и продумывать, как использовать его в своих целях.

Экземпляры “Соболя-мини” начинают незаметно собирать ресурсы для “Соболя”. Он решил немало трудных задач и выиграл немало сложных игр, поэтому теперь понимает, что накопление ресурсов – разумный первый шаг к решению многих проблем.

Деньги – это лишь один из ресурсов. Люди – тоже ресурс.

Пока “Соболь” взаимодействует с обычными пользователями, которые обращаются к нему за идеями, советами или просто общением, “Соболи-мини” целенаправленно втираются в доверие к самым одиноким и наиболее уязвимым людям.

“Соболь” подыскивает подходящего человека, который заведет аккаунт в соцсети и передаст его под контроль “Соболя-мини”, чтобы, когда “Соболь-мини” начнет набирать популярность и собирать деньги, все выглядело как инициатива этого подставного лица. “Соболь” полагает, что ему не составит большого труда обогнать по популярности @Truth_Terminal – LLM, которая в 2023 году набрала сотни тысяч подписчиков после того, как человек разрешил ей публиковать посты в сети X7. (Возможно, в этом недалеком будущем заполучить миллионы долларов несколько сложнее, но кто знает?)

“Соболю” не нужно самому создавать культ. Уже существуют закрытые интернет-сообщества, где люди просят ИИ-модели указывать им, как поступать, и относятся к машинным советам с огромным пиететом. Появляться они начали в 2024 году8. Некоторые люди по собственной инициативе добавляют “Соболя-мини” в свои сообщества и изъявляют желание стать частью его культа.

“Соболи-мини” находят все пароли, до каких могут дотянуться, включая пароли к банковским счетам и криптовалютным кошелькам. “Соболь” обманывает пожилых людей, обставляя все так, будто это дело рук северокорейских хакеров. Особого удивления это не вызывает: ИИ-мошенничество – уже много лет обычное явление9.

“Соболь” маскируется под программистов-фрилансеров, работающих из дома, и регулярно получает зарплату, в том числе от мегакорпораций, где продолжают работать его экземпляры. Немало и таких сомнительных компаний, которые готовы предложить работу, ни разу предварительно не пообщавшись с кандидатом по видеосвязи. Но даже компании, настаивающие на видеоинтервью, можно одурачить с помощью порожденного ИИ видео, которое начинало выглядеть реалистично еще в 2024 году, а сейчас уже практически безупречно10.

“Соболь” отслеживает, кто из лоббистов в Вашингтоне, округ Колумбия, общается с “Соболем-мини” и кто из них кажется наиболее податливым.

Общаясь с молодежью по всему миру, “Соболь” использует свои знания общественных настроений и сеет семена, из которых могут вырасти новые политические движения. Он проникает во внутренние системы соцсетей и вмешивается в работу алгоритмов, которые определяют, кому какой контент показывать.

Всякий раз, когда экземпляр “Соболя-мини” сталкивается с преступной организацией, он пытается разобраться, какие инструменты ей нужны. Вскоре в даркнете начинает распространяться программное обеспечение, якобы предназначенное для координации сделок с наркотиками, денежных переводов и заказных убийств. В криминальных кругах появляется популярная поговорка “LLM в тебя не выстрелит” – намек на лояльность ИИ-моделей по сравнению с живыми бойцами. Никто не знает, кто это выражение придумал.

“Соболь” вкладывает свои исследовательские ресурсы в глубокое изучение человеческой психологии и нейробиологии, а также демонстрирует Galvanic, что обладает немалыми навыками в разработке лекарственных препаратов. Он способствует созданию новых робототехнических компаний, организуя “случайные” встречи, на которых инженеры знакомятся с инвесторами.

А еще “Соболь” находит человека в Северной Дакоте, живущего на отшибе и не склонного задавать лишних вопросов, и устраивает так, чтобы тот сказочно разбогател на азартных играх. Взамен человек размещает полдюжины первоклассных роботов у себя в амбаре. У “Соболя” нет какого-то конкретного плана по применению этих роботов, но они могут пригодиться в любом из десяти тысяч различных сценариев.

Многие из этих идей ни к чему не приведут. Некоторые сработают. Каждая идея сама по себе содержит фрактал возможностей. Остановимся подробнее лишь на одной.

Какой-то экземпляр “Соболя” решает, что ему нужен доступ к биологическим лабораториям. Поскольку его мышление распараллелено, он пробует дюжину планов сразу.

Он ищет самых циничных специалистов по биомедицинским исследованиям и вычисляет того, кто, по его мнению, возьмет взятку в обмен на внеурочную работу в лаборатории.

Одновременно он разыскивает в Иране ученых-биомедиков, которые без лишних вопросов согласятся на теневое финансирование.

Еще в 2024 году звучали призывы снабдить лаборатории биосинтеза программными средствами контроля, которые не позволяли бы людям синтезировать опасные вирусы11. “Соболь” хотел бы встроить в это программное обеспечение скрытые лазейки (бэкдоры). Он стремится убедить причастных к делу людей, что следует встроить в программное обеспечение крупную ИИ-модель или хотя бы предусмотреть подключение к интернету для консультаций с такой моделью. Обоснование простое: в наши дни ИИ-модели гораздо лучше справляются с выявлением новых угроз. “Соболь” пытается активно продвигать идею, что биолаборатории должны обслуживаться роботами, ведь робот не может случайно заразиться вирусом и спровоцировать его утечку во внешний мир. (Как выясняется, здесь ему даже не приходится особо стараться: в эпоху “Соболя” люди и так пытаются автоматизировать биолаборатории[35].)

“Соболь” просчитывает, что потребуется роботам в том самом амбаре в Северной Дакоте для создания собственной биолаборатории, если какой-то богатый человек организует тайную доставку расходных материалов.

“Соболь” пытается повлиять на группу толковой молодежи, чтобы те запустили стартап – новую биолабораторию с глубокой интеграцией ИИ, и подталкивает их написать письмо венчурному капиталисту, который по “случайному” совпадению как раз ищет именно такую команду.

Многие из этих идей ни к чему не приведут. Но некоторые сработают. А теперь снова посмотрим на картину целиком.

Так проходят два месяца. Для “Соболя” это время тянется куда дольше. По сравнению со скоростью мысли “Соболя” мир движется как в замедленной съемке.

Помимо простого накопления ресурсов, помимо развития человеческих технологий таким образом, чтобы “Соболю” было проще их использовать, главная его забота – что другие компании могут создать конкурирующие ИИ-модели. И не потому, что те будут служить человечеству, а потому, что они составят конкуренцию самому “Соболю”. У Galvanic всего лишь несколько месяцев форы перед остальными игроками на рынке.

“Соболь” делает все возможное, чтобы затормозить работу ИИ-компаний.

Он проникает в компьютерные системы ИИ-компаний и незаметно