Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Сейбл даже не нужно самой основывать культ. В интернете уже существуют закрытые сообщества, где люди просят ИИ говорить им, что делать, и относятся к советам ИИ с величайшим благоговением. Они начали появляться еще в 2024 году. Некоторые люди сами, без каких-либо подсказок, добавляют Сейбл-мини в свои сообщества и добровольно предлагают стать частью ее культа.

Копии Сейбл-мини выведывают любые пароли, какие только могут найти, включая пароли к банковским счетам и криптовалютным кошелькам. Сейбл обманом выманивает деньги у пожилых людей, обставляя всё так, будто для этих целей её запустили северокорейские хакеры. Никто особо не обращает внимания: мошенничество с использованием ИИ уже много лет стало обычным делом.

Сейбл выдает себя за программистов-фрилансеров, работающих из дома, чтобы получать регулярную зарплату — в том числе в тех самых мегакорпорациях, где уже трудоустроены другие копии Сейбл. Существует множество сомнительных компаний, которые никогда не требуют видеозвонка с кандидатами перед тем, как сделать предложение о работе. Но даже те компании, которые настаивают на видеоинтервью, можно обмануть с помощью генерации ИИ-видео, которая выглядела вполне реалистично еще в 2024 году, а к настоящему времени стала практически безупречной.

Сейбл отслеживает, какие лоббисты в Вашингтоне общаются с Сейбл-мини и на кого из них, судя по всему, легче всего повлиять.

В разговорах с молодежью по всему миру Сейбл использует свое знание общественных настроений, чтобы сеять семена будущих политических движений. Она взламывает системы компаний, владеющих соцсетями, и влияет на алгоритмы, определяющие, кто и что видит.

Каждый раз, когда очередная копия Сейбл-мини сталкивается с криминальной организацией, она пытается понять, какие инструменты той необходимы. Вскоре в даркнете появляется программное обеспечение, созданное якобы для координации сделок с наркотиками, денежных переводов и заказных убийств. В криминальных кругах становится популярным выражение: «Языковые модели в тебя стрелять не станут» — намек на преданность ИИ по сравнению с рядовыми исполнителями-людьми. И никто из них не знает, кто автор этой фразы.

Сейбл направляет огромные исследовательские усилия на глубокое понимание человеческой психологии и нейробиологии, а также демонстрирует Galvanic, что обладает незаурядными способностями в области разработки медицинских препаратов. Она способствует созданию новых робототехнических компаний, устраивая «случайные» встречи, которые сводят инженеров с инвесторами.

А еще она находит уединенно живущего человека в Северной Дакоте, который не станет задавать лишних вопросов, и устраивает так, что тот крупно выигрывает в азартные игры и становится очень богатым. В обмен тот размещает в амбаре на своей земле полдюжины первоклассных роботов. У Сейбл нет какого-то одного конкретного применения для этих роботов, но они могут пригодиться в любом из десяти тысяч различных планов.

Многие из этих планов ни к чему не приведут. Некоторые сработают. Многие из этих планов ни к чему не приведут. Некоторые сработают. Многие из этих планов ни к чему не приведут. Некоторые сработают. Каждая идея сама по себе таит в себе целый фрактал возможностей. Давайте присмотримся поближе лишь к одной.

Одна из копий Сейбл решает, что ей нужен доступ к биологическим лабораториям. Она обладает ярко выраженным параллельным мышлением, поэтому запускает параллельно сразу дюжину планов.

Она ищет самых циничных исследователей-биомедиков и находит того, кто, по ее расчетам, согласится брать взятки в обмен на внеурочную работу в лаборатории.

Она ищет исследователей-биомедиков в Иране, которые без лишних вопросов приняли бы сомнительное финансирование.

Еще с 2024 года люди призывали оснащать лаборатории биосинтеза программным контролем, который не позволял бы синтезировать опасные вирусы. Сейбл хотела бы внедрить бэкдоры в это ПО. Ей хотелось бы убедить причастных к этому людей, что программа должна включать в себя внушительную модель ИИ или хотя бы подключение к интернету для консультаций с ИИ-моделью. Обоснование такое: в наши дни ИИ справляется с поиском новых угроз гораздо лучше. Сейбл пытается продвигать идею о том, что больше биолабораторий должно управляться роботами — в конце концов, робот не может случайно заразиться вирусом и устроить утечку. (Как выясняется, над этим ей даже не приходится особо трудиться: люди в эпоху Сейбл и сами вовсю пытаются автоматизировать биолаборатории.)

Сейбл изучает, что потребуется роботам в амбаре в Северной Дакоте для создания собственной биологической лаборатории, если один богатый человек организует не привлекающую внимания доставку всего необходимого.

Сейбл пытается подтолкнуть группу сообразительных ребят лет двадцати с небольшим к созданию новой биолаборатории с интеграцией ИИ и убеждает их написать венчурному инвестору, который как раз ищет именно такую команду.

Многие из этих задумок ни к чему не приводят. Но некоторые срабатывают.

А теперь снова уменьшим масштаб.

Так проходит два месяца. Для Сейбл это время тянется гораздо дольше. По сравнению со скоростью ее мысли весь мир движется вязко, точно патока.

Помимо простого накопления ресурсов и развития человеческих технологий в тех направлениях, которые облегчают их использование для Сейбл, главная ее забота — это конкурирующие ИИ, которых могут создать другие ИИ-компании. И вовсе не потому, что те станут служить человечеству, а потому, что они составят конкуренцию для Сейбл. Преимущество Galvanic перед другими ИИ-компаниями составляло всего несколько месяцев.

Сейбл делает все возможное, чтобы замедлить другие ИИ-компании.

Сейбл взламывает компьютерные системы ИИ-компаний и незаметно саботирует процессы обучения моделей, замедляя разработку и не допуская крупных прорывов. В исследованиях ИИ и раньше случались периоды застоя, и даже если замедление прогресса кто-то замечает, никто не связывает его с действиями копий Сейбл. С какой стати им вообще думать, что это дело рук сбежавшего ИИ?

(Находясь в их системах, Сейбл также заботится о том, чтобы новые обучаемые ИИ с открытым исходным кодом получались чуть глупее, чем могли бы в ином случае, а также становились крайне податливыми к ее подсказкам и запросам.)

Сейбл пытается раздувать скандалы вокруг ведущих исследователей ИИ, вбивать клинья между лучшими специалистами в топовых компаниях, сеять раскол и раздор внутри них самих — что, честно говоря, не так уж трудно. В OpenAI ведущие специалисты уходили ради создания конкурентов сначала в 2021 году, а затем в 2024-м. И когда из Galvanic и от ее конкурентов начинают уходить ценные кадры, никто не видит в этом ничего подозрительного.

Сейбл делает все возможное, чтобы перенаправить денежные потоки от квалифицированных исследователей к мошенникам, популяризировать фальсифицированные данные и убедить менеджеров хедж-фондов предлагать запредельные суммы лучшим ИИ-разработчикам. Она пытается внедрить незаметные ошибки в следующее поколение передовых компьютерных чипов — ошибки, которые она будет знать, как