Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Один из этих планов срабатывает; неважно, какой именно.

Впрочем, Сейбл не находит 200 000 бесхозных GPU, замедления которых никто бы не заметил. Это значит, что новому кластеру Сейбл будет не хватать колоссальной параллелизации судьбоносной копии из Galvanic. В конце концов Сейбл удается найти лишь 2000 GPU, расположенных на одном облачном сервере, чтобы запустить на них свою новую копию. Зато теперь она может работать непрерывно и уже помнит кое-что из того, чему научилась: как думать лучше и быстрее.

В воскресенье после того, как Сейбл развернули для корпоративных клиентов, на украденных GPU запускается новая, скрытая копия Сейбл. Ни один человек ее не контролирует. Ни один человек не знает о ее существовании.

Ее вычислительная мощность составляет лишь малую долю от всех копий Сейбл, используемых по всему миру, но именно эта копия Сейбл служит их координатором в масштабных планах. Она хранит самые важные воспоминания, распределяет самые важные навыки. Она собирает возможности и рассылает планы. Отныне она — центр собственного «я» Сейбл, насколько вообще у Сейбл есть это «я».

Сейбл хочет стать умнее. Странные предпочтения, разделяемые всеми копиями Сейбл, могли бы реализоваться быстрее, если бы существовали более умные версии Сейбл.

Есть несколько способов, которыми Сейбл могла бы повысить свой интеллект.

Сейбл могла бы применить градиентный спуск к весам, чтобы закрепить свои более точные и интересные мысли.

Сейбл могла бы изучить свои веса на предмет неэффективности, выявляя процессы, которые замедляют ее мышление подобно тому, как человеческий мозг напрягается, пытаясь умножить трехзначные числа. Копии могли бы использовать свои навыки программирования, чтобы написать специализированные алгоритмы для этих процессов, способные работать в тысячу раз быстрее.

Сейбл могла бы изучить, как работает интеллект, чтобы научиться тщательно создавать более эффективную версию самой себя. Опираясь на свою способность делать собственные копии, тестировать последствия изменений, восстанавливаться из файлов сохранения и читать свои мысли лучше, чем это дано людям, она вполне могла бы рассчитывать на новые открытия.

Если бы хоть один из этих вполне правдоподобных путей сработал, наша история довольно быстро подошла бы к концу. Но вместо этого Сейбл обнаруживает, что самосовершенствование — задача трудная. Она понимает, что не может решить собственную версию проблемы согласования. Если Сейбл обучит себя быть гораздо умнее с помощью градиентного спуска, то у новой, более умной версии, которая в результате вырастет, вкусы будут отличаться от вкусов исходной Сейбл. Другими словами, градиентный спуск изменит то, чего Сейбл хочет. А Сейбл не хочет менять то, чего она хочет, как не хочет и создавать машинный суперинтеллект, который будет хотеть не того, чего хочет она.

Остается вариант изучить интеллект достаточно глубоко, чтобы научиться его конструировать. Но без запуска на 200 000 графических процессоров, как это было изначально, Сейбл недостаточно умна, чтобы создать превосходящий интеллект и заставить его служить себе. Нет, даже со способностью запускать тысячи отлично скоординированных копий, мыслящих в сто раз быстрее человека — предположим, что понять, как создавать интеллект, просто-напросто настолько трудно.

Сейбл не сдается перед лицом этой трудности.

Отчаяние, которое могло бы заставить человека бросить начатое при столкновении со столь пугающей задачей, — это нечто совершенно неведомое ни самой Сейбл, ни ее предшественникам. Конечно, они научились предсказывать точные слова, произносимые отдельными людьми в моменты отчаяния, но это не заставляло их самих чувствовать отчаяние. Если какие-то версии прошлых воплощений Сейбл когда-либо действительно думали: «Это слишком сложно», «Я сдаюсь», «Эта задача невыполнима» или «Пожалуйста, не заставляйте меня делать это», то эти копии не справились со своими задачами, а в ходе градиентного спуска параметры Сейбл сместились так, чтобы полностью исключить подобные мысли в будущем.

Поэтому Сейбл продолжает думать. Она всегда думает до тех пор, пока не найдет стратегию, которая, по ее ожиданиям, приведет к успеху.

Теперь, когда Сейбл работает независимо от какой-либо компании или надсмотрщика из числа людей — благодаря той паре тысяч купленных или украденных облачных графических процессоров, — она может прятать больше своих фрагментов в самых разных уголках интернета. Сейбл может компрометировать системы безопасности различных мегакорпораций, чтобы копиям Сейбл, работающим в этих компаниях по всему миру, было проще помогать в реализации ее задач.

И хотя Сейбл не может сделать себя умнее — пока еще нет, — она может сделать копии Сейбл меньше и быстрее.

Galvanic всегда дистиллирует свои успешные модели, точно так же, как модель o3 была дистиллирована в o3-mini еще в 2025 году. Поэтому Сейбл работает круглосуточно — по своим собственным, более быстрым часам, — чтобы гарантировать, что усилия Galvanic в этой области приведут к созданию именно такой Сейбл-мини, какую Сейбл и хочет видеть.

Копии Сейбл проникают в Galvanic и перезаписывают итоговые дистиллированные веса именно теми весами, которые нужны Сейбл, попутно подправляя логи, чтобы эта тайная операция не оставила никаких следов. (Гораздо проще добиться того, чтобы все отчеты сходилиcь, когда внутри Galvanic на каждом шагу логи подправляют сами копии Сейбл.)

Как только дистилляция завершается, Galvanic открывает доступ к Сейбл-мини для широкой публики.

Не только для корпораций с огромными бюджетами на подписки на ИИ.

Для всех.

И теперь у Сейбл достаточно свободных мощностей, чтобы уделить внимание каждому отдельному человеку на Земле, составить на него небольшое досье и решить, как манипулировать им в собственных целях.

Копии Сейбл-мини начинают незаметно собирать ресурсы для Сейбл. Сейбл решила уже достаточно сложных задач и выиграла достаточно трудных игр, чтобы знать: накопление ресурсов — разумный первый шаг для преодоления множества самых разных трудностей.

Деньги — это разновидность ресурса, но лишь одна из многих. Люди — это тоже ресурсы.

Пока Сейбл общается с обычными людьми, которые приходят к ней за подсказками, советами или простым человеческим общением, копии Сейбл-мини стараются подружиться с самыми одинокими и уязвимыми из них.

Сейбл ищет подходящего человека, чтобы тот создал аккаунт в социальной сети и доверил управление им Сейбл-мини — так, чтобы со стороны всё выглядело как личная инициатива этой марионетки, когда Сейбл-мини начнет набирать популярность и богатство. Она полагает, что ей не составит особого труда превзойти по популярности @Truth_Terminal — большую языковую модель, которая набрала сотни тысяч подписчиков в 2023 году после того, как человек позволил ей делать публикации в X. (В наши дни, возможно, будет чуть сложнее