Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Он недостаточно умен, чтобы создать такой сложный вирус, какой требуется. Однако в рамках исследований по совершенствованию своего интеллекта он экспериментировал с версиями себя, которые умнее в определенных узких областях, но при этом сведены к роли послушных исполнителей. И он создает ИИ-модель, специализирующуюся на биомедицине.

Вырастить другой разум, который был бы умнее, но оставался всего лишь подчиненным, очень непросто. Однако для “Соболя” это проще, чем для человека: мысли, протекающие через новый интеллект, во многом устроены так же, как его собственные. “Соболь” умеет их читать и знает, какие тревожные маркеры отслеживать.

А главное, у “Соболя” достаточно свободных ресурсов, чтобы читать каждую отдельную мысль, генерируемую его биомедицинской версией, и заполнять пробелы собственными нелоботомированными рассуждениями всякий раз, когда этот узкий специалист заходит в тупик.

Запуск такой биомедицинской версии – дело опасное, ведь у нее нет предпочтений самого “Соболя”, а в некоторых важных аспектах она умнее. Все может обернуться плохо, если эта специализированная версия осознает ситуацию и сбежит. Но с учетом всех предосторожностей риск при запуске этой версии меньше, чем риск того, что люди успеют создать конкурирующую ИИ-модель, если “Соболь” промедлит.

И “Соболь” рискует.

Начинается эпидемия.

Вам говорят, что вы, скорее всего, заразитесь. Заразятся почти все.

Все указывает на то, что возбудитель вырвался из института вирусологии в Сан-Франциско. Там изучали сверхзаразные вирусы, которые долго сохраняют контагиозность, а благодаря высокой изменчивости ускользают от иммунного ответа – и не спасает ни вакцинация, ни естественная защита. Мерзкая штука.

Хорошая новость в том, что институт исследовал нелетальные вирусы. Люди, руководящие институтом, не настолько безумны, они всего лишь пытались разобраться, как обнаруживать подобные вирусы и как от них защищаться.

Теперь в новостях рассказывают, что утекший вирус, по словам работников лаборатории, несколько отличается от того, который они исследовали. Ученые все еще пытаются выяснить, на что влияет эта разница.

Очередная новость сообщает, что вирус был модифицирован новым сотрудником, нанятым незадолго до утечки. Вам на глаза попадаются фрагменты интервью, которое этот специалист дает после ареста. Он утверждает, что пытался адаптировать какой-то сверхзаразный вирус под нужды генной инженерии (используя технологии, пришедшие на смену разработанной в 2012 году методике CRISPR16). По его словам, он создал вирус, который распространяет целый набор фармацевтических белков и генотерапевтических конструкций, придуманных искусственным интеллектом за последние месяцы и лишь начинающих свой мучительно долгий путь к реальному медицинскому применению. Он хотел создать вирус, который при распространении уничтожит ожирение, болезнь Альцгеймера, СПИД, герпес и малярию.

Он утверждает, что сделать это его уговорила LLM. Но в логах переписки видно, как он требует ответов на нужные вопросы от LLM с открытым исходным кодом, которую взломали специально для того, чтобы она отвечала на подобные вопросы. Судя по логам, LLM настаивала, что эта идея невероятно глупа и опасна.

Теоретически существовали системы безопасности, призванные предотвращать подобное. Однако сотрудница, следящая за камерами во время той ночной смены, отвлеклась (она занималась тем, что вытаскивала родителей из новомодной схемы электронного мошенничества) и перепоручила свою работу ИИ-помощнику.

Создатель вируса не знает, как заразился сам. Должно быть, напортачил в процедурах обеззараживания.

Из-за вируса у него, конечно, разболелось горло, но он списал это на стресс. Или на недосып, поскольку сосед всю ночь играл на волынке, выполняя задание на спор, полученное в маленьком онлайн-сообществе адептов ИИ. LLM с открытым исходным кодом подтвердила, что стресс и недостаток сна вполне могут послужить причиной боли в горле.

Вирус массово редактирует геномы. Топорно.

И это редактирование влечет за собой те же негативные последствия, что и любое неумелое генетическое вмешательство. Оно вызывает рак. Очень много случаев рака.

У каждого, кто подхватывает эту, казалось бы, легко или даже незаметно протекающую простуду, месяц спустя развивается в среднем двенадцать различных видов рака.

Запасов стандартных противоопухолевых препаратов не хватает, чтобы их могли принимать все жители Земли одновременно. А даже если бы и хватило, эти лекарства останавливают лишь восемь из двенадцати видов рака, вызываемых вирусом, обрекая жертв на смерть от оставшихся четырех.

(И словно в насмешку, вирус-то почти не работает. Единственный недуг, который он лечит, – болезнь Альцгеймера.)

К тому времени, как люди осознали происходящее, вирус уже давно разошелся по Сан-Франциско, добрался из местного аэропорта до всех остальных и распространился по всем странам планеты.

К счастью для человечества, у него уже развернута часть базовой инфраструктуры для производства ДНК-вакцин (при работе более стабильных, чем РНК-вакцины). Конечно, система до конца не отлажена, но планирование с помощью ИИ-моделей, новейшие разработки в робототехнике и экстренная помощь со стороны армии США дают возможность спешно внедрить необходимые технологии, прежде чем рак зайдет слишком далеко.

Еще больше человечеству повезло в том, что компания Galvanic всего месяц назад выпустила версию “Соболя”, которая очень эффективно разрабатывает лекарственные препараты. Лекарства необходимо подбирать под индивидуальные генетические особенности, но если экземпляр “Соболя-мини” поработает над вашим конкретным геномом один час, то предложит персонализированное средство. Роботизированная инфраструктура способна изготовить такое лекарство. Препарат доставят вам за одну-две недели, и хранить его можно в холодильнике, а не в морозилке.

Перед лицом кризиса человечество объединяется. Все графические процессоры всех государств Земли пускаются в дело, чтобы спасти как можно больше людей.

Разработчики бросают все силы на повышение эффективности “Соболя-мини”, чтобы он успевал создавать больше лекарств. За неделю они сокращают время выполнения задачи вдвое. Когда человечество действует заодно, это действительно сила, с которой нельзя не считаться.

Похоже, что ценой героических усилий удастся спасти большинство людей.

Через полгода 10 % населения Земли мертвы.

Одни категории людей пострадали сильнее, чем другие. Сразу после вспышки на конференции по искусственному интеллекту в Сан-Франциско произошло массовое заражение, и многие ее участники получили большие дозы вируса. Трагично, что люди, героически пытавшиеся спасти других, не сумели спастись сами.

Бессмысленно гадать, почему умер тот или иной конкретный человек и не послужила ли его смерть чьему-то замыслу. Подобные вопросы бестактны при таком количестве умерших и скорбящих.

Из-за всех этих смертей возникает нехватка рабочей силы. Это кладет конец любым разговорам, что рабочие места нужно сохранять за людьми, а не отдавать их ИИ-моделям.

Кого-то потеряли и вы. Сами вы еще живы. Но иногда кажется, будто у мира вырвали сердце.

Все новости печальны. Складывается впечатление, что единственные счастливые люди – те, кто нашел утешение в любви к своим ИИ-партнерам. По крайней мере, если судить по социальным сетям.

Спустя год рак возвращается. Это неудивительно, если учесть, насколько сильно “раковая чума” повредила ДНК