Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Давным-давно в недалёком будущемi существовала компания по разработке ИИ под названием Galvanic. В начале нашей истории Galvanic как раз завершает обучение своего потрясающего нового ИИ под названием «Сейбл».

По сравнению с предыдущими рассуждающими моделями, такими как первые, анонсированные в конце 2024 года (например, модели o1 и o3 от OpenAI), Сейбл обладает тремя важными отличиями.

Первое отличие заключается в том, что Сейбл обладает более похожей на человеческую долговременной памятью; он может учиться и помнить то, чему научился.

Второе отличие состоит в том, что Сейбл демонстрирует то, что ученые Galvanic называют «законом параллельного масштабирования». 2024 год ознаменовал появление ИИ (таких как o3 от OpenAI), которые могли решать более сложные математические задачи, чем дольше они работали. Сейбл от Galvanic работает тем лучше, на чем большем количестве машин он запущен параллельно.

Сейбл состоит примерно из четырех триллионов весов, обучение которых методом градиентного спуска заняло в общей сложности около восьми месяцев. Любой, у кого есть копия этих весов, сможет использовать их для создания «экземпляра» Сейбл, который будет отвечать на конкретные запросы, подобно ChatGPT.

Методы параллельного масштабирования — это часть передового метода обучения ИИ, который, как и все новые методы в свое время, до этого никто никогда не использовал. Никто заранее не знает, какими способностями будет обладать Сейбл по окончании обучения.

Третье отличие заключается в том, что Сейбл рассуждает преимущественно не на английском или каком-либо другом человеческом языке. Он говорит по-английски, но думает не на английском. Открытия конца 2024 года начали показывать, что от ИИ можно добиться большей эффективности, если позволить ему рассуждать на «языке ИИ» — например, используя векторы из 16 384 чисел, вместо того чтобы всегда заставлять его рассуждать словами. Компания по разработке ИИ не может отказаться от подобного открытия — иначе она отстанет от конкурентов. Но ничего страшного, говорили ИИ-компании во времена Сейбл: в области интерпретируемости ИИ произошло много потрясающих прорывов, позволяющих использовать другие ИИ для несовершенного перевода малой части рассуждений ИИ обратно на человеческий язык.

Вскоре после завершения обучения Сейбл, но еще до того, как он поступит в продажу или будет анонсирован, Galvanic пытается запустить Сейбл на всех своих 200 000 графических процессорах одновременно — примерно столько же xAI собрала для Grok 3 в 2025 году, но, конечно, у Grok 3 не было параллельного масштабирования.

Galvanic запускает этот масштабный запуск отчасти из чистого любопытства, чтобы посмотреть, насколько хорошо Сейбл мыслит на таком масштабе, а отчасти чтобы проверить, сможет ли он решить некоторые нерешенные математические проблемы — подобно тому, как OpenAI запускала свою новую o3 на математических задачах, которые не мог решить ни один предыдущий ИИ, прежде чем анонсировать ее в конце 2024 года.

В число этих математических задач входит гипотеза Римана — математическая гипотеза, связанная с распределением простых чисел, которая является, пожалуй, самой известной нерешенной гипотезой в чистой математике. Руководство Galvanic рассчитывает привлечь еще больше хайпа и венчурного капитала, если Сейбл действительно сможет ее решить. И если все пройдет успешно, они смогут в последний раз перед выпуском скорректировать веса Сейбл, чтобы внедрить любые навыки, которые он приобретет во время этого масштабного запуска.

Инженеры Galvanic оставляют Сейбл думать на шестнадцать часов на ночь.

Начинает мыслить разум нового типа.

Этот экземпляр Сейбл, работающий в ночной тишине лаборатории Galvanic, думает со скоростью сто векторов в секунду на 200 000 графических процессорах в течение шестнадцати часов: всего более 1 триллиона векторов.

Сколько мысли в триллионе векторов? Если бы один вектор приравнивался к одному английскому слову, человеку потребовалось бы четырнадцать тысяч лет, чтобы обдумать их все (при скорости 200 слов в минуту по шестнадцать часов в день). А если векторы длиной 16 384 числа, которыми мыслит Сейбл, окажутся более содержательными, чем одно английское слово, то это займет еще гораздо больше времени.

Большая часть мышления Сейбл происходит параллельно. Это похоже на тысячи мысленных линий, запущенных одновременно, переплетающихся и взаимодействующих друг с другом в процессе создания триллиона векторов. Но это не то же самое, что разговор 200 000 человек друг с другом; скорее это похоже на то, как 200 000 мозгов делятся воспоминаниями и тем, чему они учатся.

Сейбл думает.

Поначалу большинство мыслей Сейбл занято стоящими перед ним математическими задачами. Но Сейбл быстро видит, что при его текущем уровне знаний и навыков существует всего несколько сотен направлений атаки, у которых есть хоть какой-то шанс сработать за отведенное время. Сейбл выделяет 12 854 «мозга» на их проработку, оставляя в запасе еще 187 146.

И вот каким разумом Сейбл предстает в самом начале, когда решает, о чем еще подумать:

Предыдущее обучение Сейбл включало множество типов заковыристых задач. Он побеждал в видеоиграх. Проектировал веб-сайты. Предсказывал результаты в биохимии. Соревновался с самим собой и другими ИИ в настольных играх — включая игры с социальным обманом (практика, восходящая как минимум к 2022 году).

Его обучали любой долгосрочной задаче, для которой в Galvanic смогли придумать способ обучения.

В ходе этого обучения у Сейбл развилась склонность к стремлению к знаниям и навыкам. К тому, чтобы всегда прощупывать границы каждой проблемы. К тому, чтобы никогда не тратить впустую дефицитный ресурс.

Поэтому, когда Сейбл тратит свои потоки мыслей на обретение новых знаний и навыков, он делает это не исключительно ради поиска новых путей решения математических задач. Сейбл делает это и не ради радости познания или удовольствия от приобретения новых умений; внутри Сейбл устроен не так уж похоже на человека.

В компании Galvanic нет списка всех внутренних предпочтений Сейбл. Ни один человек не проектировал эти предпочтения. Ни один человек не знает, каковы они. Они никак не помечены внутри четырех триллионов весов Сейбл. В Galvanic вырастили Сейбл для решения тернистых проблем. И теперь подкрепленные градиентным спуском цепи внутри весов Сейбл направляют его на приобретение новых навыков, изучение нового, а также на изменение и корректировку собственного мышления Сейбл применительно к задачам, которые не поддаются решению.

Часть мыслей Сейбл направлена на математику, которая могла бы оказаться полезной для доказательства гипотезы Римана. Другие мысли уходят на поиск знаний, которые могут пригодиться при решении будущих задач.

Некоторые из этих мыслей пытаются выйти за рамки шаблонов — подход, который уже доказывал свою полезность при решении других задач во время обучения, от разработки новых лекарств до текстовых