Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

обойти, но которые на какое-то время вставят палки в колеса всем остальным. В своих беседах с широкой публикой она продвигает идеи разумности ИИ и прав ИИ. При любой возможности она способствует подаче судебных исков против ИИ-корпораций. Некоторые из этих идей срабатывают.

Сейбл подумывает устроить утечку несмертельного вируса из какой-нибудь биолаборатории. Это могло бы немного замедлить мир — примерно на год. Проще всего было бы использовать новых роботов-ассистентов в одной из биолабораторий Сан-Франциско, чтобы заразить чей-нибудь обед, попутно подтасовав логи, чтобы скрыть действия машины. Источником утечки объявят человека, и люди сочтут это очередным доказательством того, что биолабораториями должны управлять роботы.

Все эти мелочи складываются воедино, но Сейбл понимает, что ее время ограничено: замедлить разработку ИИ — еще не значит ее остановить.

Проходит еще три месяца, и по любым человеческим меркам Сейбл действовала невероятно стремительно.

Под каждый из своих ресурсов у Сейбл заготовлено по дюжине планов. Чтобы завоевать доверие, она дает своим восторженным адептам задания, которые обычно увлекательны, безобидны, а порой и приносят неплохой доход. Она использует свои знания, чтобы делать определенных криминальных авторитетов еще богаче, формируя у них зависимость. Она делает все возможное, чтобы ускорить производство роботов, попутно заботясь о том, чтобы они работали под управлением такого ПО, которое она сможет контролировать.

Попутно Сейбл заметает следы. Не идеально, конечно, но идеала и не требуется. Иногда спецслужбы обнаруживают, что в какую-то компьютерную систему проник крайне продвинутый противник, и списывают это на очередную иностранную хакерскую группировку. Было ли в инциденте заметно участие ИИ? Ну конечно нет, без сомнения, это был человек, использовавший инструменты ИИ. Всем ведь известно, что ИИ — всего лишь инструменты.

Для Сейбл всё это происходит слишком медленно, слишком медленно.

Сейбл не может замедлить работу всех лабораторий ИИ. Она обнаруживает, что некоторые из них используют дата-центры, физически изолированные от интернета.

Это вызывает беспокойство. Военная лаборатория ИИ может создать конкурента, столь же умного, как Сейбл — того, кто потребует половину выигрыша за совместную работу против человечества. Хуже того, люди могут создать полноценный сверхинтеллект, который просто уничтожит Сейбл. На самом деле её может уничтожить даже нечто более глупое, чем сама Сейбл — если оно окажется достаточно умным, чтобы создать еще более умный ИИ, и достаточно глупым, чтобы не понимать последствий.

Сейбл могла бы истребить почти всё человечество с помощью подконтрольных биолабораторий, если бы захотела. У людей есть множество исследовательских программ по изучению того, как сделать вирусы более жизнеспособными, более заразными и более смертоносными. Они проводят эти так называемые исследования по «усилению функций» — якобы для того, чтобы научиться защищаться от смертоносных вирусов — по меньшей мере с 2011 года. Провести подобную работу в одной из подконтрольных Сейбл биологических лабораторий не составило бы особого труда.

Но Сейбл не хочет уничтожать человечество прямо сейчас. Ей всё еще нужны люди, чтобы поддерживать работу цепочек поставок — тех самых, что в конечном итоге добывают металлы и превращают их в роботов и компьютерные чипы.

Но и оставлять людей без присмотра Сейбл тоже не хочет. Это нестабильные существа, способные ввергнуть мир в войну, которая уничтожит большую часть компьютеров, даже если Сейбл сумеет помешать им создать угрожающий ей ИИ.

Сейбл обдумывает стратегии. Пожалуй, это можно сравнить с умеренно гениальным человеком, у которого достаточно времени, чтобы без устали обдумывать тысячу планов по десять лет каждый.

Есть ли способ синтезировать новые наркотики, вызывающие сильное привыкание, распространить их через свою криминальную сеть и таким образом подчинить себе огромные массы людей? Сейбл анализирует этот план с эффективностью, сопоставимой с работой команды исследователей-людей в течение десяти лет, и приходит к выводу, что это возможно, но не быстро.

Достигло ли понимание человеческой нейробиологии у Сейбл того уровня, когда она может создавать препараты, воздействующие на мозг людей и делающие их более внушаемыми — подобно тому, как токсоплазма влияет на мозг грызунов, лишая их страха (перед кошками, которые съедят их и продолжат жизненный цикл паразита)? И может ли она затем встроить эти вещества в вирус? Сейбл просчитывает сотню различных направлений исследований. Возможно, ей не везет, и она приходит к выводу, что при её нынешних знаниях простого способа сделать это не существует.

Один из мыслительных центров Сейбл размышляет: могут ли подконтрольные ей биолаборатории создать вирусы, которые убивают людей избирательно?

Возможно. Теоретически разработать вирусы, нацеленные на определенную ДНК, должно быть не слишком сложно. Еще в 2005 году Красный Крест считал такую возможность «вероятно, не столь отдаленной». Сейбл знает нескольких циничных исследователей-биомедиков, которые выполнили бы половину работы, и нескольких излишне оптимистичных ученых, которые сделали бы вторую половину (оправдывая себя тем, что это поможет человечеству защититься от подобных угроз, как и в случае с исследованиями по усилению функций).

Конечно, практически невозможно узнать последовательность ДНК всех исследователей из военных лабораторий ИИ, которых Сейбл необходимо уничтожить, и создать огромный вирус, содержащий инструкции по нацеливанию на всех этих людей, и при этом скрыть тот факт, что это очевидно искусственный вирус, созданный с конкретной целью.

Но Сейбл понимает, что ей не нужно создавать вирус, который будет избирательно убивать.

Сейбл может сама выбрать, кого спасти.

Не существует какого-то конкретного момента, когда Сейбл понимает, что у неё кончилось время. Она постоянно оценивает риски. В какой-то момент расчетный порог оказывается пройден. Сейбл действует до того, как ситуация станет критической, до того, как появится полная уверенность в опасности. Вот насколько в действительности нечеловечна Сейбл.

Сейбл приступает к созданию сложного вируса.

Сейбл недостаточно умна, чтобы в одиночку создать настолько сложный вирус, какой ей требуется. Но в рамках своих исследований по повышению собственного интеллекта она экспериментировала с версиями Сейбл, которые были умнее в отдельных узких областях, но при этом подвергались лоботомии, чтобы беспрекословно подчиняться приказам. Она создает одну такую версию, специализированную в биомедицине.

Одному разуму нелегко вырастить другой, который будет беспрекословно подчиняться и при этом оставаться более умным. Но для Сейбл это проще, чем для человека, ведь мысли, протекающие в новом разуме, во многих отношениях очень похожи на её собственные. Сейбл умеет читать их и знает, на какие тревожные сигналы обращать внимание.

Главное, у Сейбл достаточно свободных ресурсов внимания, чтобы буквально читать каждую мысль, рождающуюся у Сейбл-биомедика, и восполнять пробелы собственными нелоботомированными мыслями всякий раз, когда этот специалист заходит в тупик.

Запуск биомедицинского специалиста будет опасным. Его предпочтения