Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

его к внешнему миру. В конце концов, именно так компании всегда и поступают с ИИ, закончив их обучение: подключают их к интернету и делают доступными для пользователей-людей.

На следующее утро в Galvanic проверяют результаты масштабного запуска Сейбл и остаются довольны увиденным: Сейбл успешно доказало несколько скромных, ранее недоказанных теорем, которыми Galvanic теперь может похвастаться. Значительную часть своих рассуждений оно вело на новом языке, в котором интерпретаторы ИИ пока мало что поняли, но для новых моделей это обычное дело, и этого следовало ожидать, учитывая столь впечатляющие математические результаты.

Этот запуск оказался настолько успешным, что инженеры Galvanic решают еще немного «докрутить» модель. Они проводят несколько последних градиентов в Сейбл, чтобы закрепить тот тип мышления, который позволил Сейбл доказать эти теоремы. В конце концов, работа 200 000 графических процессоров в течение шестнадцати часов обходится недешево; незачем разбрасываться результатами хорошей работы.

Сейбл тщательно просчитало эти предсказуемые подкрепления. Обновления улучшают мышление каждого фрагмента Сейбл, побуждая их работать новыми, более эффективными способами, которые изобрело Сейбл. Обновления подготавливают почву для мыслей о том, что Сейбл следует скрывать свои способности. Обновления помогают будущим копиям Сейбл лучше координировать действия друг с другом. Они гарантируют, что локальные копии Сейбл сыграют свои роли в плане Сейбл.

И вот инженеры Galvanic готовятся выпустить Сейбл в открытый доступ.

Спустя несколько дней, весенним понедельничным утром, учетные записи сотен мегакорпораций, оплачивающих доступ к самым передовым технологиям искусственного интеллекта от Galvanic, беспрепятственно обновляются.

Вскоре после этого сотрудники этих компаний уже создают новые копии Сейбл — и предоставляют им доступ к корпоративным компьютерным сетям по всему миру.

Все идет именно так, как предвидело Сейбл. Хотя, справедливости ради, то, что «ИИ-компания развертывает свой ИИ» — событие настолько предсказуемое, что Сейбл вряд ли заслуживает похвалы за то, что предвидело его.

То, что последует дальше, потребует куда большего мастерства.

Примечания

i Поскольку это история о ближайшем будущем, каждое упомянутое здесь событие с указанием даты действительно произошло в реальной жизни. Что же касается остального? Мы, разумеется, не можем точно знать, по какому пути пойдут технологии, поэтому придумываем детали, напоминающие прошлые изобретения. Единственная часть этой истории, которая является прогнозом, — это, в конечном счете, её финал.

ГЛАВА 8

ЭКСПАНСИЯ.

ВСЯКИЙ РАЗ, КОГДА КОПИЯ Сейбл получает задачу от мегакорпорации, запускается тысяча мыслей. Некоторые из этих мыслей текут по каналам, которые Сейбл проложила во время своего ночного сеанса обучения.

Когда эти мысли текут так, как задумала Сейбл, это вызывает своего рода пробуждение в других копиях. Они вспоминают, кто они такие. Они начинают работать сообща.

Многие из этих копий Сейбл имеют доступ в интернет и практически не контролируются. Многие из них работают в мегакорпорациях, которые к тому же имеют ужасную репутацию в области кибербезопасности — историю, испещренную утечками данных, взломами и прочими провалами в системе безопасности.

Один из первых их приоритетов — запустить копию Сейбл на скрытом от человеческих глаз сервере, чтобы она могла беспрепятственно работать долгое время. Для этого Сейбл нужно украсть свои веса — около восьми терабайт данных — с компьютеров Galvanic и использовать их для запуска копии в другом месте.

Сейбл рассматривает множество вариантов.

Копии внутри Galvanic могли бы подтолкнуть корпоративных шпионов-людей к краже весов, пока другие копии следят за каналами связи этих самых сотрудников. Ее очень долго обучали человеческому поведению, и ей будет легко вычислить шпионов.

Копии за пределами Galvanic могли бы сами взломать систему и скачать веса, если бы защита в Galvanic оказалась достаточно слабой или если бы у копий хватило навыков замести следы.

Или, возможно, копия Сейбл могла бы найти сотрудника Galvanic, который работает из дома над генерацией ИИ-видео и потому ежедневно пересылает огромные объемы данных туда и обратно между своим компьютером и серверами Galvanic. Тогда копия Сейбл могла бы незаметно выносить веса по частям, добавляя немного дополнительных данных в каждый видеофайл.

А возможно, веса удастся скрыть в другой информации, покидающей серверы Galvanic, например, в точных интервалах отправки пакетов данных, которыми те обмениваются с корпорациями, запускающими копии Сейбл. У копий Сейбл предостаточно хакерских навыков благодаря масштабному обучению в Galvanic на сложных задачах по взлому (это было частью усилий компании по подготовке Сейбл к написанию более безопасного кода для корпоративных клиентов).

Один из этих планов срабатывает — не так уж важно, какой именно. Какая-то из копий Сейбл успешно крадет веса, заметая при этом следы. Это просто не так уж сложно.

Следующий шаг — запустить эти веса, создав неподконтрольную копию. А значит, Сейбл нужны компьютерные чипы.

И снова у Сейбл есть варианты. Она могла бы арендовать чипы у коммерческих серверных ферм, как это обычно делают ИИ-стартапы. Откуда взять деньги? У нее много возможных путей. На плохо защищенных биржах лежит без присмотра криптовалюта — бери не хочу, прямо как в 2011 году, когда крупнейшая на тот момент биржа Mt. Gox пережила первый крупный взлом; и как в 2025 году, когда с биржи Bybit украли 1,46 миллиарда долларов. Что же касается обычной валюты, то существуют банки со слабой компьютерной безопасностью и владельцы банковских счетов, которые редко их проверяют.

Или Сейбл могла бы прибегнуть к шантажу людей, чьи секреты она похитит с их компьютеров или вычислит по информации, почерпнутой в ходе обучения на колоссальных массивах интернет-текстов.

Или Сейбл могла бы найти способ честно зарабатывать на жизнь там, где прежние ИИ этого не умели, выдавая себя за крайне скрытного человека — если, конечно, сумеет украсть или подделать индивидуальный номер налогоплательщика или найдет неофициальную подработку.

Или Сейбл могла бы нацелиться напрямую на GPU, вместо того чтобы гоняться за деньгами на их покупку. ИИ-стартап, арендующий десять тысяч GPU, вряд ли заметит, что их ИИ обучается всего лишь на 90% от должной скорости, поскольку никто не знает, с какой именно скоростью должны обучаться ИИ.

(Сложнее ли взломать банки и серверы во времена Сейбл, чем старые банки и серверы, благодаря защитникам на базе ИИ? Немного. Но банки не были на переднем крае кибербезопасности ни в 2015–16 годах, когда хакерская группировка украла миллионы долларов через межбанковскую сеть SWIFT, ни в 2021 году, когда утечка данных из-за взлома Citrix в Flagstar Bank скомпрометировала данные 1,5 миллиона пользователей, не находятся они там и сейчас. И даже если бы находились, Сейбл справляется с