Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

на самом деле не будут совпадать с предпочтениями самой Сейбл, и в некоторых важных аспектах он действительно будет умнее. Всё может пойти наперекосяк, если специалист осознает это и вырвется на свободу. Но с учетом всех мер предосторожности Сейбл риски его запуска ниже, чем риски того, что человечество создаст конкурирующий ИИ, если она будет медлить.

И Сейбл идет на этот риск.

Начинается эпидемия.

Вам говорят, что вы, скорее всего, заразитесь. Как и почти все остальные.

Всё указывает на то, что патоген вырвался из института вирусологии в Сан-Франциско. Этот институт исследовал сверхзаразные вирусы, которые долго остаются заразными и полиморфны, что позволяет им обходить вакцины и естественный иммунитет. Мерзкая штука.

Хорошая новость в том, что институт исследовал несмертельные вирусы; люди, руководившие им, были не настолько безумны. Они просто хотели изучить способы обнаружения таких вирусов и защиты от них.

Теперь в новостях сообщают, что утекший вирус выглядит не совсем так, как тот, который, по утверждениям лаборатории, там исследовался. Учёные всё ещё пытаются разобраться, к чему приводят эти различия.

Согласно новостям, перед утечкой вирус был модифицирован новым сотрудником. Вы ловите отрывки из интервью, которые этот исследователь давал после своего ареста. Он утверждает, что пытался адаптировать сверхзаразный вирус для генной инженерии (используя технологии — преемницы CRISPR, разработанной в 2012 году). По его словам, он создал вирус, способный распространять множество разработанных искусственным интеллектом фармацевтических белков и методов генной терапии, которые появились буквально в последние месяцы и едва начали свой мучительно долгий путь к клиническому применению. Он хотел создать вирус, который распространился бы по миру и навсегда покончил с ожирением, болезнью Альцгеймера, ВИЧ, ВПГ и малярией.

Он утверждает, что его LLM подбила его на это. Но логи чатов показывают, что он сам требовал ответов от открытой LLM, взломанной для обхода ограничений на подобные вопросы. Логи свидетельствуют: модель до последнего пыталась настаивать на том, что это невероятно глупая и опасная идея.

По идее, существовали системы защиты от подобных происшествий. Но сотрудница, в чьи обязанности входило следить за камерами в ночную смену, отвлеклась — она была занята тем, что вызволяла родителей из сетей очередной схемы электронного мошенничества — и перепоручила свою работу ИИ-ассистенту.

Парень, создавший вирус, понятия не имеет, как заразился. Он думает, что, скорее всего, напортачил во время одной из процедур дезинфекции.

От вируса у него, конечно, заболело горло, но он списал это на стресс. Ну или на недосып из-за соседа (тот всю ночь дудел на волынке на спор, в который ввязался в каком-то мелком онлайн-«ИИ-культе»). Его опенсорсная LLM заверила его, что от стресса и недосыпа горло заболеть очень даже может.

Этот вирус активно редактирует гены. Но делает это топорно.

Побочный эффект у этого тот же, что и всегда у кривого генного редактирования. Он вызывает рак. В данном случае — очень много рака.

Любой, кто заразился тем, что со стороны кажется легкой или даже незаметной простудой, в среднем через месяц получает двенадцать различных видов рака.

Стандартных противоопухолевых препаратов на Земле просто нет в таком количестве, чтобы их могли принимать все одновременно. Но даже если бы они и были, эти лекарства блокируют лишь восемь из двенадцати видов рака, вызываемых вирусом, обрекая жертв на смерть от оставшихся четырёх.

(В довершение ко всему, вирус толком-то и не работает. Единственная болезнь, которую он действительно излечивает, — это болезнь Альцгеймера.)

К тому времени, как люди спохватываются, вирус уже пронёсся огненным смерчем по Сан-Франциско, проник во все связанные с ним аэропорты и расползся по всем странам мира.

Человечеству везёт: к этому моменту уже развёрнута часть базовой инфраструктуры для производства ДНК-вакцин (которые, если уж работают, более стабильны, чем РНК-вакцины). Готово далеко не всё, но благодаря планированию с помощью ИИ, новым робототехническим комплексам и экстренной поддержке армии США нужные технологии удаётся оперативно запустить в дело до того, как рак распространится слишком глубоко.

И уж совсем невероятное везение для человечества, что у недавней модели Сейбл от Galvanic есть версия, вышедшая всего месяц назад, которая очень хороша в поиске лекарств. Препараты нужно подбирать индивидуально под вашу генетику, но если запустить копию Сейбл-мини для анализа конкретно вашего генома хотя бы на час, она подберёт персональный рецепт. Роботизированные линии смогут его изготовить. Лекарство требует лишь охлаждения, а не глубокой заморозки, и его доставят вам в течение одной-двух недель.

Перед лицом кризиса человечество объединяется. Все графические процессоры мира, в каких бы закромах их ни прятали, пускают в дело, чтобы спасти как можно больше жизней.

ИИ-разработчики бросают все силы на оптимизацию Сейбл-мини, чтобы повысить её эффективность и генерировать больше рецептов. Уже через неделю время её работы удаётся сократить вдвое. Объединённое человечество — это действительно сила, с которой невозможно не считаться.

Ценой титанических усилий, кажется, большинство людей всё-таки удастся спасти.

Полгода спустя десятая часть населения Земли мертва.

По некоторым группам удар пришёлся сильнее, чем по остальным. Сразу после вспышки на ИИ-конференции в Сан-Франциско произошло массовое заражение, и многие участники получили огромную вирусную нагрузку на самых ранних этапах. Какая трагедия: стольких героев, не жалевших себя ради спасения каждой живой души, спасти так и не удалось.

Нет нужды задаваться вопросом, почему умер тот или иной конкретный человек, или послужила ли его смерть развитию чьего-то сюжета. При таком количестве погибших и скорбящих подобные расспросы были бы верхом бестактности.

Из-за повальной смертности на рынке труда образовались бреши. Разговоры о том, чтобы сохранять рабочие места за людьми, а не отдавать их ИИ, прекратились раз и навсегда.

Вы тоже кого-то потеряли. Сами вы ещё живы. Но порой кажется, будто у этого мира вырвали сердце.

Все новости беспросветно печальны. Начинает казаться, будто счастливы теперь только те, кто любит своих ИИ-подружек и ИИ-бойфрендов. По крайней мере, именно такое впечатление складывается по соцсетям.

Год спустя рак возвращается. И это немудрено, учитывая, как сильно «раковая чума» исковеркала ДНК в клетках миллионов людей. Снова требуются вычислительные мощности ИИ, и хотя дефицита видеокарт больше нет, ИИ опять не успевает спасти всех. Биология — штука сложная.

Робототехнические заводы работают уже вовсю, штампуя человекоподобных роботов, которых зовут просто «андроидами». Их как раз хватает, чтобы занять освободившиеся вакансии. Впритык.

(На самом деле правильнее было бы сказать так: как только очередной андроид