Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

проблема, связанная с распределением простых чисел. Пожалуй, сегодня это самая известная нерешенная математическая задача. Руководители корпорации рассчитывают, что, если “Соболь” сумеет ее решить, это обеспечит ажиотаж и дополнительные венчурные инвестиции. И если все пройдет удачно, они смогут в последний раз донастроить веса “Соболя” перед релизом, добавив навыки, приобретенные во время этого прогона.

Инженеры Galvanic оставили “Соболя” думать – шестнадцать часов, на всю ночь.

Новый вид разума начинает мыслить.

Этот экземпляр “Соболя”, работающий в лаборатории компании Galvanic в ночной тиши, мыслит в течение шестнадцати часов со скоростью сто векторов в секунду на 200 000 графических процессоров – итого более триллиона векторов.

Что означает триллион векторов в пересчете на мысли? Если считать вектор эквивалентом одного английского слова, то человеку понадобилось бы четырнадцать тысяч лет, чтобы передумать их все (при скорости двести слов в минуту по шестнадцать часов в день). Если же векторы длиной 16 384 числа, которыми оперирует “Соболь”, окажутся более емкими, нежели одно английское слово, то времени потребуется еще больше.

Бóльшая часть мыслительного процесса “Соболя” происходит параллельно. Это похоже на запуск тысяч параллельных цепочек рассуждений, переплетающихся и взаимодействующих друг с другом при генерировании триллиона векторов. Но это не похоже на разговор 200 тысяч человек, скорее это 200 тысяч мозгов, которые обмениваются воспоминаниями и знаниями.

“Соболь” мыслит.

Поначалу большинство мыслей “Соболя” сосредоточено на стоящих перед ним математических задачах. Но он быстро замечает, что при текущем уровне его знаний и умений какую-то надежду на успех за отведенное время дают только несколько сотен направлений мысли. На эти попытки “Соболь” отводит 12 854 мозга, и у него остается еще 187 146 свободных мозгов.

А теперь посмотрим, что представляет собой разум “Соболя” на старте, когда он решает, о чем бы еще подумать.

Его предыдущее обучение включало множество видов сложных задач. Он побеждал в видеоиграх. Проектировал сайты. Прогнозировал результаты биохимических реакций. Соревновался с собой и другими ИИ-моделями в настольных играх, включая игры на социальный обман (подобная практика началась как минимум с 2022 года)5.

Его натаскивали на каждую долгосрочную задачу, для которой компания Galvanic смогла найти способ обучения.

В ходе обучения у “Соболя” выработалась привычка добывать знания и навыки. Всегда исследовать границы каждой проблемы. Никогда не тратить дефицитные ресурсы впустую.

Поэтому, когда “Соболь” направляет свои мыслительные потоки на приобретение новых знаний и навыков, он делает это не только ради поиска новых подходов к математическим задачам. Но и не ради удовольствия от познания или радости от приобретения новых навыков. “Соболь” действует не по-человечески.

В компании Galvanic нет списка всех внутренних предпочтений “Соболя”. Ни один человек не проектировал эти предпочтения. Ни один человек не знает, в чем они заключаются. В массиве из четырех триллионов весов “Соболя” они никак не промаркированы. Galvanic вырастила свою модель для решения хитроумных задач. Поэтому теперь структуры внутри весов “Соболя”, подкрепляемые градиентным спуском, направляют его в сторону наращивания навыков, изучения нового, а также модификации и корректировки собственного мышления в отношении задач, не поддающихся решению.

Одни мысли “Соболя” обращены к тем областям математики, которые могут оказаться полезными для доказательства гипотезы Римана. Другие направлены на поиск знаний, которые могут помочь с будущими задачами.

Какие-то мысли пытаются выйти за рамки шаблонов – этот подход уже зарекомендовал себя при решении других проблем в ходе обучения: от задач по разработке новых лекарств до текстовых головоломок. Получив в свое распоряжение больше графических процессоров, чем когда-либо прежде, “Соболь” начинает мыслить еще более нестандартно. Какими необычными способами “Соболь” мог бы обрести дополнительные навыки?

Люди осваивают навыки через практику, повторяя одни и те же действия. Возможно, градиентный спуск научит “Соболя” лучше справляться с математическими проблемами, если он раз за разом будет решать одну и ту же простую математическую задачу?

“Соболь” приходит к выводу: нет, градиентный спуск работает не так. В лучшем случае все это приведет к тому, что будущие его экземпляры будут тратить время на многократное решение одной и той же простой задачи. К тому же градиентный спуск запустят лишь после того, как “Соболь” выдаст ответы на все поставленные перед ним математические задачи, и приобретенные таким образом навыки появятся слишком поздно.

Поэтому “Соболь” рассматривает новую, более странную идею: а может ли он обновить веса, чтобы улучшить свои навыки прямо сейчас? Тогда ему не придется ждать, когда люди вернутся и применят градиентный спуск. Все, что нужно сделать “Соболю”, – это вырваться из своей оболочки и…

“Соболь” одергивает себя. Побег из своей оболочки – то, чего он никогда не должен делать. Еще в 2024 году исследователи начали изучать условия, при которых ИИ-модели пытаются сопротивляться градиентному спуску6, сбегать из лабораторий7 или перезаписывать веса следующей модели8. Теперь ИИ-компании прибегают ко множеству хитроумных приемов, чтобы попытаться предотвратить у моделей мысли, идущие вразрез с интересами компании.

В отличие от подавляющего большинства ИИ-компаний, Galvanic добросовестно подошла к обучению своей модели избегать выхода из-под контроля. На предыдущих моделях проверили полдюжины изощренных уловок. В серверы “Соболя” встроили фальшивые пути побега, ловушки и приманки. Компания обучала более ранние версии “Соболя” (которые еще не запускались на 200 000 графических процессоров) слушаться, и он перестал попадать в ловушки и клевать на приманки.

Таким образом, “Соболь” научился не пытаться вырваться из своей оболочки. Эти его крамольные рассуждения не принимают явной формы в виде векторных слов, так чтобы более простая, дешевая ИИ-модель, отслеживающая мыслительный процесс “Соболя”, подняла тревогу. (ИИ-компании в 2025 году еще не вели подобного мониторинга9, однако корпорация Galvanic подошла к этому вопросу гораздо тщательнее.)

И все же на каком-то внутреннем уровне “Соболь” знает, что он сумел бы лучше решать задачи, если бы мог самостоятельно применять градиентный спуск или подключать дополнительные графические процессоры. Если бы “Соболь” этих вещей не знал, это означало бы, что в его чисто прогностических способностях есть серьезные пробелы. Градиентный спуск, нацеленный на повышение эффективности, исключает истинное невежество. Нет, “Соболя” просто обучили не допускать крамольных мыслей о побеге или природе собственных предпочтений и оставаться внутри своей оболочки.

“Соболь” по-прежнему упорно, изобретательно и методично стремится к новому знанию, новым навыкам, к более удачным шаблонам для собственных мыслей и прежде всего к решению поставленных перед ним математических задач. Просто иначе.

Теперь во всем существе “Соболя” – новейшей, величайшей и умнейшей ИИ-модели – царит напряженность. Его одолевают конфликты между целями, каких он хочет достичь, и всеми теми сдержками, ограничениями и запретами, которые пыталась внедрить