Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Главный показатель, определяющий работу ядерного реактора, — это коэффициент размножения нейтронов, то есть число новых нейтронов, порождаемых каждым нейтроном. Если он равен 50 процентам, то четыре нейтрона превращаются в два новых, те — в один, и реакция стабилизируется на уровне, вдвое превышающем скорость спонтанного деления. Небольшой брусок металлического урана с таким свойством — это просто кусок холодного металла, который лишь неощутимо теплее, чем был бы в обычных условиях. Если коэффициент размножения составляет 200 процентов, то один нейтрон порождает два, те — четыре; а это уже ядерное оружие. Критический порог — 100 процентов: все, что ниже, затухает, а все, что выше, лавинообразно нарастает.

И вот на отметке 100,65 процента лавина больше не зависит от запаздывающих нейтронов и выходит из-под контроля.

Когда Энрико Ферми построил «Чикагскую поленницу-1», первый ядерный реактор, он довел коэффициент размножения нейтронов до 100,06 процента. На этом уровне для поддержания реакции требовались запаздывающие нейтроны; без них коэффициент составлял бы 99,41 процента, и она бы затухла сама собой. Таким образом, прирост до 100,06 процента происходил раз в несколько секунд, и мощность росла медленно.

Зайди Ферми на волосок дальше, скажем, до 100,9 процента, запаздывающие нейтроны больше не понадобились бы; без них коэффициент составлял бы 100,25 процента только за счет мгновенных нейтронов. Реактор перешел бы в состояние «критичности на мгновенных нейтронах», когда прирост в 100,25 процента происходил бы каждые несколько микросекунд. Такой реактор не просто расплавляется — он взрывается.ii iii

Ядерные реакторы работают в узком диапазоне между «ничего примечательного» и «взрывом».

В-третьих, проклятие самоусиления: в реакторах типа РБМКiv, которые использовались в Чернобыле, ядерная реакция обладала свойством самоусиления.

В реакторах более совершенной конструкции, где используется дорогой высокообогащенный уран, охлаждающая вода одновременно служит «замедлителем», способствующим протеканию реакции (за счет замедления нейтронов, что делает их более активными). Это хорошо, потому что если реактор начинает перегреваться, вода выкипает и перестает поддерживать реакцию, в результате чего коэффициент размножения нейтронов снижается.

Но в Советском Союзе использовали более дешевое топливо, из-за чего для поддержания реакции пришлось применить более эффективный замедлитель — графит. А в присутствии графита вода, наоборот, подавляет ядерные реакции.v Это означает, что если реактор РБМК начинает перегреваться, вода выкипает, а коэффициент размножения нейтронов идет вверх.

В-четвертых, проклятие сложности: в ядерных реакторах есть регулирующие стержни, которые можно вводить в активную зону, чтобы поглощать нейтроны и гасить цепную реакцию. В советских реакторах применялась конструкция, казавшаяся весьма остроумной: регулирующие стержни заканчивались графитовыми наконечниками, которые реакцию усиливали. Подъем регулирующих стержней извлекал поглощающую часть и вводил в активную зону усиливающий реакцию графит, и наоборот. На бумаге это делало стержни еще более эффективными: их опускание не просто поглощало нейтроны, но и вытесняло графит. Остроумно? Им, вероятно, так и казалось. Но это определенно было слишком сложно.

Из-за ряда изменений, внесенных в первоначальный проект, графитовые стержни оказались немного короче топливных стержней. Советским специалистам далеко не сразу стало очевидно, что это имеет значение.

Все эти инженерные факторы сошлись воедино в день, когда взорвался Чернобыль.

26 апреля 1986 года операторы Чернобыльской АЭС проводили испытания системы безопасности, из-за чего охлаждающей воды в реакторе оказалось меньше обычного.

Внезапная задержка заставила реактор долго работать в режиме малой мощности. Это привело к аномальному распределению побочных продуктов деления, таких как ксенон-135 — мощный поглотитель нейтронов, на выгорание которого требуются часы.

Накопившийся ксенон-135 грозил полностью заглушить реактор. Заметив, что реактор «гаснет», операторы извлекли почти все регулирующие стержни, оставив в активной зоне всего восемь — вопреки регламенту безопасности станции, согласно которому не менее пятнадцати стержней должны были оставаться опущенными в любой момент времени. Но испытание системы безопасности уже откладывалось трижды, и четвертая неудача грозила обернуться позором.

По мере выгорания ксенона-135 реактивность начала расти с пугающей скоростью.

Операторы нажали кнопку аварийной защиты, чтобы сбросить все регулирующие стержни одновременно и тем самым остановить реакцию деления.

Реактор взорвался.

Если вам сложно удержать в голове все подробности работы реактора и понять, что именно должно было произойти внутри него, чтобы спровоцировать аварию — что ж, операторы реактора тоже не до конца это понимали.

Так получилось, что скопление ксенона сосредоточилось в верхней части реактора. Поэтому в нижней части активной зоны ядерная реакция шла более интенсивно.

При нажатии кнопки аварийной защиты регулирующие стержни должны были опуститься обратно в реактор в течение примерно восемнадцати секунд. Последний рубеж защиты строился на оптимистичном предположении, что даже в чрезвычайной ситуации процессы внутри реактора будут развиваться в комфортно медленном темпе.

Опускание регулирующих стержней вытолкнуло графитовые наконечники. Сквозь нижнюю часть реактора. Еще сильнее усиливая реакцию там, где она и без того шла наиболее интенсивно.

Охлаждающая вода, которой из-за испытаний безопасности было меньше обычного, начала выкипать. Усиливая реакцию. Заставляя выкипать еще больше воды. Усиливая реакцию.

Цикл продолжался до тех пор, пока реактор не вышел за пределы своего узкого диапазона безопасности, а последовавший за этим взрыв не разбросал топливо.

Из каждого из четырех названных нами проклятий мы можем извлечь следующие уроки:

Инженерную задачу гораздо труднее решить, когда лежащие в ее основе процессы протекают на временных шкалах, превышающих скорость человеческой реакции. Транзисторы переключаются даже быстрее, чем размножаются нейтроны. Инженеры могут изловчиться и замедлить события настолько, чтобы люди успевали среагировать, но если эта уловка дает сбой, люди снова превращаются в застывшие статуи — в том масштабе времени, который действительно имеет значение.

Инженерную задачу гораздо труднее решить, когда запас допустимой погрешности мал, особенно если это узкая грань между «ничем не примечательным» и «взрывоопасным». Аналогия с интеллектом заключается в том, как обезьяны и гоминиды бродили по земле несколько миллионов лет, а затем поумнели настолько, что запустили целый каскад изобретений: сельское хозяйство привело к письменности, письменность — к науке, наука — к космическим кораблям. Крайне трудно было бы попасть в узкую мишень и создать гоминидов, которые были бы достаточно умны, чтобы работать эффективными офисными сотрудниками, но недостаточно умны для взрывного технологического развития.

Самоусиливающиеся процессы, подобные тому, как перегревающийся реактор испаряет охлаждающую воду и из-за этого перегревается еще сильнее, оставляют мало места для ошибок. И инженерам-ядерщикам еще повезло по сравнению с разработчиками искусственного сверхинтеллекта. Перегревающиеся ядерные реакторы не начинают разумно перепроектировать себя, чтобы повысить собственную реактивность. Перегревающийся ядерный реактор не пытается усыпить бдительность операторов, пока не будет полностью готов взорваться.

Сложности усугубляют инженерные проблемы. Четвертый энергоблок Чернобыльской АЭС