Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Космические зонды. Ядерные реакторы. Компьютерная безопасность. К чему сводятся все эти уроки и что они говорят нам о сложности согласования искусственного сверхразума?

Искусственный сверхразум подобен космическому зонду в том смысле, что мы не можем протестировать его в той самой среде, где ему предстоит работать, и по умолчанию его невозможно вернуть или исправить, как только он поднимется высоко над нами. Даже если мы придумаем какую-нибудь хитрую уловку, чтобы иметь возможность модифицировать его в дальнейшем, сверхразум останется недосягаемым и невозвратимым, если эта уловка даст сбой. И с согласованием сверхразума дело обстоит еще хуже, чем с космическими зондами: провал уничтожит не просто миллиарды долларов инвестиций, а абсолютно всё.

Искусственный сверхразум подобен ядерному реактору в том смысле, что его глубинная суть сопряжена с колоссальными, потенциально самоусиливающимися силами, внутренние процессы которых протекают быстрее, чем человек способен среагировать.

Искусственный сверхразум подобен проблеме компьютерной безопасности в том смысле, что любое ограничение, которое инженер пытается наложить на систему, может быть обойдено теми разумными силами, свободу которых эти ограничения стесняют.

Весь этот комплекс проблем выглядел бы устрашающе даже если бы мы понимали законы разума; даже если бы мы понимали, как, черт возьми, работают эти ИИ; даже если бы мы точно знали, где граница между «до» и «после» пролегает; даже если бы мы точно знали, каким запасом прочности на случай ошибки мы располагаем.

Мы этого не знаем. ИИ выращивают, а не конструируют. Какие бы колоссальные сложности ни скрывались внутри систем ИИ, наделяя их интеллектуальной мощью, никто их не понимает.

Ставить на то, что человечество способно решить эту проблему при нынешнем уровне понимания, — всё равно что ставить на то, что алхимики из 1100 года смогли бы построить работающий ядерный реактор. Тот, что работал бы в глубинах космоса. С первой попытки.

Обычно мы стараемся избегать крика. В большинстве случаев крик не помогает. Из-за него люди лишь думают, что вам не хватает самообладания. Но в какой-то момент, когда вы уже спокойно изложили все предпосылки своих аргументов, преуменьшать масштаб угрозы становится, на наш взгляд, вредно — иначе люди решат, будто всё это лишь игра в спокойные слова.

Когда дело касается ИИ, вызов, перед которым стоит человечество, непреодолим с помощью чего-то даже отдалённо похожего на нынешний уровень наших знаний и умений. И близко нет.

Попытка решить подобную проблему, когда на кону стоят жизни всех людей на Земле, была бы безумной и глупой авантюрой, которую НИКОМУ НЕЛЬЗЯ ПОЗВОЛЯТЬ ДАЖЕ ПЫТАТЬСЯ.

Примечания

i Для протокола: мы сторонники ядерной энергетики. Это один из самых чистых доступных источников энергии, а риски в современных конструкциях реакторов минимальны. Рак лёгких, вызванный угольной пылью, унёс гораздо больше жизней, чем ядерная энергетика за всё время её существования, а испытания ядерного оружия высвободили больше радиации, чем взрыв на Чернобыльской АЭС. Мы изучаем Чернобыльскую катастрофу исключительно как поучительный пример инженерной ошибки.

ii В истории зафиксирован лишь один подобный случай. Малый реактор SL-1 был экспериментом американских военных в начале 1960-х годов, предназначенным для баз в регионах с холодным климатом, куда было дорого доставлять топливо. Согласно наиболее вероятной реконструкции аварии на SL-1, при попытке осуществить холодный запуск реактора заклинило центральный регулирующий стержень, который требовалось выдвинуть на 4 дюйма. Тогда кто-то резко потянул за него и выдвинул вместо этого на 20 дюймов. Это привело к тому, что коэффициент размножения нейтронов составил 102,4 процента, что значительно превысило уровень мгновенной критичности в 100,65 процента. Радиоактивность удваивалась каждые 2,5 миллисекунды. За следующую десятую долю секунды это привело к увеличению радиоактивности SL-1 более чем в десять триллионов раз — до 20 гигаватт, после чего реактор взорвался, как 30 килограммов тротила, разбросав топливо и убив всех троих операторов. Взрыв был достаточно мощным, чтобы разрушить помещение, но не здание; неуправляемые реакторы разрывают себя на части до того, как взрыв успевает стать слишком масштабным. (Настоящее ядерное оружие достигает гораздо более высокого коэффициента размножения нейтронов; в бомбе «Толстяк», сброшенной на Нагасаки, он составлял от 150 до 300 процентов.)

iii Как же хорошо, что Энрико Ферми заранее точно знал, где находится критический порог, и что он и его команда смогли с точностью рассчитать, что 100,06 процента — это безопасно, а 100,9 процента — смертельно. Представьте, если бы они просто складывали эти занятные металлические бруски с графитом, чтобы посмотреть, что получится, почти не понимая, как те выделяют тепло. Бруски становились бы неощутимо теплее на 50 процентах, чуть теплее на 75 процентах, заметно теплыми на 99,9 процента, а затем, если бы следующий шаг сразу перенёс их на уровень 102,4 процента — что ж, возможно, вместо Чернобыльской зоны отчуждения у нас была бы Чикагская зона отчуждения.

iv «Реактор большой мощности канальный» (РБМК).

v Водород в воде рассеивает часть нейтронов (замедляя их и способствуя протеканию реакции) и поглощает другие (тем самым подавляя её). В обычных условиях преобладает эффект рассеяния, поэтому в целом вода способствует ядерным реакциям. Однако нейтроны невозможно замедлить дважды, а графит является настолько хорошим замедлителем, что воде в этом отношении уже практически нечего добавить. При этом вода всё равно поглощает нейтроны. Таким образом, суммарный эффект воды в присутствии графита заключается в подавлении реакции.

ГЛАВА 11

АЛХИМИЯ, А НЕ НАУКА.

ДАВНЫМ-ДАВНО, в те времена, которых никогда не было, существовал средневековый городок, гордившийся мастерством своих алхимиков.

Путь алхимика — как в этом вымышленном городке, так и в реальной истории — заключался в том, чтобы опытным путем узнавать, какие смеси веществ и при каких температурах дают те или иные видимые результаты. Городские алхимики накопили целые собрания рецептов, но не имели ни малейшего представления о лежащих в их основе принципах. Они пробовали новые смеси, практически не умея предсказывать результаты, а затем записывали полученные исходы в свои трактаты.

Алхимики из нашего воображаемого городка пришли бы в ужас, если бы вы намекнули им, что в каком-то глубоком смысле они всё еще невежественны. Разве они не учились долгими часами, чтобы узнать, как приготовить Царскую водку,i способную растворять даже благородные металлы, такие как золото и серебро? Разве они не были великими мастерами чрезвычайно безопасных процессов, позволявших им обращаться с Царской водкой и не погибать при этом? Разве их догадки о новых рецептах не