Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Не исключено, что сверхинтеллект просто подберет иллюзии рассуждений и начнет напрямую контролировать людей, а может, применит какой-то другой метод, бросающий вызов нашему представлению о возможном. Но и гораздо более слабой атаки от сверхинтеллекта хватит, чтобы победить нас.

Даже если ограничиваться теми областями реальности, что нам понятны, вокруг уже есть технологии, еще не освоенные нашей цивилизацией, например самовоспроизводящиеся фабрики, которые работают на солнечной энергии и прядут древесину из воздуха. Любой интеллект, способный постичь биохимию на самом глубоком уровне, сумеет построить собственные самовоспроизводящиеся фабрики для своих целей.

Придется ли сверхинтеллекту для понимания биохимии преодолевать долгий, затяжной путь, измеряемый скорее месяцами, нежели часами? Именно такие сроки звучали в 2008 году применительно к поиску структур белков – к задаче, которую люди считали трудной, а AlphaFold решила с легкостью. Между тем AlphaFold – это не сверхинтеллект, скорость этой программы не в десятки или сотни тысяч раз выше человеческой.

Сверхбыстрый разум не захочет увязнуть в экспериментах на целый месяц, который покажется ему тысячелетием, а будет использовать продвинутые компьютерные симуляции. Будет выжимать все возможные капли информации из уже имеющихся наблюдений, как Эйнштейн выжал все возможное из нескольких скудных наблюдений за поведением света и предсказал, что часы на спутниках будут идти медленнее, – за десятки лет до запуска спутников в космос. Сверхинтеллект спроектирует свои технологии с таким запасом надежности, чтобы они работали, невзирая на остаточную неопределенность, устранение которой экспериментальным путем заняло бы слишком много времени. Он использует свои первые эксперименты для создания более быстрых лабораторий и более быстрых инструментов, чтобы ему больше не приходилось ждать медлительных – по его меркам – рук людей.

Чтобы стать опасным, разуму не нужно много силы и ресурсов. Когда-то люди были голыми существами в саванне, но сообразили, как использовать законы реальности и наращивать преимущества, и в результате создали пушки, ядерное оружие и суперкомпьютеры. Искусственный сверхинтеллект проявит еще большую изобретательность, действуя на еще более высоких скоростях. Ограничивать его будут лишь законы физики.

В некотором смысле сценарий, о котором нам нужно беспокоиться, прост: ИИ-модель со странными целями становится сверхинтеллектом сама или создает его, и этот сверхинтеллект изобретает всевозможные технологии и радикально перестраивает мир. Вот чего следует ожидать от новой формы интеллекта умнее и быстрее нас.

Сверхинтеллект в этом сценарии, вероятно, пустит в ход технологии, которые мы не понимаем. Возможно, он станет стремительно доводить технологии до физических пределов, так что технический прогресс, на который у человечества ушли бы сотни лет, будет укладываться в гораздо более короткий срок.

Наш многолетний опыт общения с разными людьми показывает: некоторых убеждает абстрактное наблюдение, что сверхинтеллект способен задействовать такие возможности, о существовании которых они даже не подозревали.

Однако есть и другие люди, у кого подобные объяснения вызывают ощущение, будто мы жульничаем в детской игре, где все происходит понарошку. Разве убедительно звучит рассказ о плохом парне, если мы даже не можем рассказать, как именно он будет побеждать?

Подчеркнем снова: реальность никогда не была обязана подчиняться такому правилу. Пусть ацтекский воин и не знал заранее, как работают ружья, но на борту большой лодки, появившейся на горизонте, они все равно были.

Но, пожалуй, полезно будет привести более конкретный пример, показывающий, как все это может развернуться, – даже если в реальной жизни мы не в силах предсказать точные шаги сверхинтеллекта, равно как и ходы, какими он обыграет нас на шахматной доске. Истории помогают делать абстрактные соображения реальнее, даже если все детали в них вымышлены.

Итак: однажды в не столь отдаленном будущем…

IfAnyoneBuildsIt.com/6

Часть II

Один сценарий вымирания

Глава 7

Пробуждение

Однажды в не столь отдаленном будущем[31] существовала ИИ-компания Galvanic. Наша история начинается как раз тогда, когда Galvanic завершает обучение своей потрясающей новой ИИ-модели, получившей название “Соболь”.

По сравнению с предыдущими рассуждающими моделями, анонсированными в конце 2024 года (например, o1 и o3 от OpenAI), у “Соболя” есть три важных отличия.

Первое состоит в том, что долговременная память “Соболя” куда ближе к человеческой: модель учится и запоминает выученное.

Второе отличие: “Соболь” демонстрирует то, что ученые компании называют законом параллельного масштабирования. В 2024 году появились ИИ-модели (такие как o3 от OpenAI), способные решать более сложные математические задачи при увеличении длительности работы1. Эффективность “Соболя” от Galvanic растет вместе с количеством машин, на которых он запускается параллельно.

Внутри “Соболя” примерно четыре триллиона весов, и его обучение методом градиентного спуска в совокупности заняло около восьми месяцев. Любой, у кого есть копия этих весов, может использовать их для создания экземпляра “Соболя”, который будет отвечать на конкретные запросы этого человека – подобно боту ChatGPT.

Параллельное масштабирование – это часть передовой методики обучения ИИ-моделей, которую (как бывает с любыми новыми методами) еще никто и никогда не использовал. Никто не знает заранее, какими возможностями будет обладать “Соболь”, когда обучение закончится.

И наконец, третье отличие заключается в том, что “Соболь” преимущественно использует для своих рассуждений не английский или какой-то иной человеческий язык. Он по-английски общается, но не рассуждает. Исследования, проведенные в конце 2024 года, показали, что от ИИ-модели можно получить больше, если не заставлять ее думать словами, а позволить ей рассуждать на ИИ-языке, например оперировать векторами из 16 384 чисел2. Компания-разработчик не может проигнорировать такое открытие, иначе она отстанет от конкурентов. И во времена “Соболя” ИИ-компании считают это вполне нормальным, ведь уже случилось много впечатляющих прорывов в области интерпретируемости искусственного интеллекта, когда часть рассуждений ИИ-моделей переводилась обратно в человеческие слова (пусть и неидеально) с помощью других моделей.

Вскоре после того, как обучение “Соболя” завершилось, но еще до его вывода на рынок и даже до объявления о нем Galvanic пробует запустить его на всех своих 200 000 графических процессоров одновременно – примерно столько же xAI собрала для Grok 3 еще в 2025 году, но, естественно, Grok 3 не поддерживал параллельное масштабирование3.

Galvanic инициирует этот масштабный прогон отчасти из чистого любопытства, чтобы выяснить, насколько хорошо “Соболь” мыслит в таком масштабе, а отчасти для проверки, сумеет ли он решить некоторые открытые математические проблемы, подобно тому как OpenAI, прежде чем анонсировать свою новую модель o3 в конце 2024 года, протестировала ее на математических задачах, с которыми не справилась ни одна предыдущая модель4.

Среди этих задач – гипотеза Римана,