Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

в котором реакции нет вовсе. Если же коэффициент размножения нейтронов составляет 200 %, то один нейтрон даст два, затем появятся четыре и так далее, и это уже ядерное оружие. Критический порог – 100 %. Ниже все постепенно затухает, а выше – лавинообразно нарастает.

И уже при 100,65 % этот процесс перестает зависеть от запаздывающих нейтронов и выходит из-под контроля.

Когда Энрико Ферми построил “Чикагскую поленницу – 1”, первый искусственный ядерный реактор, он довел коэффициент размножения нейтронов до 100,06 %. На этом уровне для поддержания реакции нужны запаздывающие нейтроны, без них коэффициент составил бы 99,41 % и реакция затухла бы. Таким образом, прирост на 0,06 % происходил раз в несколько секунд, и мощность росла медленно.

Если бы Ферми пошел немного дальше (скажем, до 100,9 %), запаздывающие нейтроны уже не требовались бы: за счет одних только мгновенных нейтронов коэффициент составлял бы 100,25 %7. И реактор перешел бы в состояние “критичности на мгновенных нейтронах”: прирост на 0,25 % происходил бы каждые несколько микросекунд. Такой реактор не просто расплавится, он взорвется[38].

Ядерные реакторы работают в узком диапазоне между “вялотекущим” и “взрывным”.

В-третьих, проклятие самоусиления. В реакторах серии РБМК[39], эксплуатировавшихся в Чернобыле, ядерная реакция была самоусиливающейся.

В более совершенных реакторах, которые работают на дорогом высокообогащенном уране, вода в контуре не только охлаждает активную зону, но и замедляет нейтроны, тем самым способствуя протеканию реакции. Это удобно, поскольку, если реактор начинает перегреваться, вода выкипает и перестает поддерживать реакцию – и коэффициент размножения нейтронов снижается.

Однако в СССР использовалось более дешевое топливо, так что для поддержания реакции приходилось применять более эффективный замедлитель – графит. Но в присутствии графита вода, наоборот, тормозит ядерные реакции[40]. А значит, если реактор серии РБМК начинает перегреваться, вода выкипает – и коэффициент размножения нейтронов повышается.

В-четвертых, проклятие усложненности. В ядерных реакторах используются управляющие стержни, которые вводятся внутрь, чтобы поглощать нейтроны и тем самым останавливать цепную реакцию. В советских реакторах применялась остроумная с виду конструкция: управляющие стержни заканчивались графитовыми наконечниками, которые способствовали реакции. При поднятии управляющих стержней из активной зоны выходила поглощающая часть и, наоборот, входила в нее графитовая, усиливающая реакцию. В теории это улучшало эффективность: опуская управляющие стержни, оператор не только вводил поглотитель нейтронов, но и одновременно убирал часть графита. Остроумно, правда? Так все предполагалось, однако эта схема оказалась чересчур сложной.

Кроме того, из-за ряда модификаций первоначального проекта графитовые наконечники оказались несколько короче, чем было нужно9. Советским инженерам показалось, что это неважно.

Но все эти факторы сыграли свою роль в тот день, когда взорвался энергоблок Чернобыльской АЭС.

26 апреля 1986 года операторы Чернобыля проводили проверку системы безопасности, из-за чего через реактор проходило меньше охлаждающей воды.

Из-за неожиданной задержки реактор долгое время работал в режиме пониженной мощности. Это привело к аномальному распределению побочных продуктов деления, в частности ксенона-135, мощного поглотителя нейтронов, для выгорания которого требуются часы[41].

Скопившийся ксенон-135 грозил заглушить реактор. Когда операторы увидели, что реактор глохнет, они подняли все управляющие стержни, кроме восьми, – в нарушение инструкций по безопасности, требовавших, чтобы минимум пятнадцать управляющих стержней постоянно оставались погруженными10. Однако проверка системы безопасности срывалась уже трижды, и четвертая неудача обернулась бы позором.

По мере того как ксенон-135 выгорал, реактивность росла с тревожной скоростью.

Операторы нажали кнопку аварийной защиты реактора, чтобы разом опустить все управляющие стержни и тем самым остановить реакцию деления.

И реактор взорвался.

Если вам трудно сразу вспомнить все детали работы реакторов и понять, что именно должно было произойти, чтобы вызвать тот взрыв, то и операторы находились примерно в таком же положении.

Так вышло, что ксенон скапливался в верхней части реактора11. Соответственно, ядерная реакция интенсивнее шла в нижней части активной зоны.

При нажатии кнопки аварийной защиты управляющие стержни должны были опуститься в реактор секунд за восемнадцать. Эта последняя линия защиты основывалась на оптимистичном допущении, что даже в случае аварийной ситуации события внутри реактора будут разворачиваться в комфортно медленном темпе.

Погружение управляющих стержней выталкивало графитовые наконечники. Через нижнюю часть реактора. И они еще больше усилили реакцию там, где она и так шла активнее всего.

Охлаждающая вода, объем которой был уменьшен из-за проверки безопасности, начала выкипать. Это усилило реакцию. Вода стала выкипать еще активнее, что еще больше усилило реакцию.

Этот цикл продолжался до тех пор, пока реактор не вышел за рамки узкого диапазона безопасности, и последовавший взрыв разбросал топливо.

Из каждого названного нами проклятия можно извлечь следующие уроки:

1. решать инженерные задачи гораздо сложнее, когда основные процессы протекают в масштабах времени, не позволяющих человеку отреагировать. Транзисторы переключаются даже быстрее, чем размножаются нейтроны. Инженеры могут исхитриться и как-то замедлить события, чтобы люди успевали вмешаться, но если их уловка не срабатывает, то люди снова превращаются в застывшие статуи – в тех масштабах времени, которые имеют значение.

2. решать инженерные задачи гораздо сложнее, когда диапазон для избегания ошибок очень узок, особенно если это зазор между “вялотекущим” и “взрывным”. Вот аналогия с интеллектом. Древние гоминиды бродили себе несколько миллионов лет, а затем их ум развился настолько, что запустил целый каскад изобретений: сначала земледелие, далее письменность, наука, космические корабли. Было бы крайне трудно попасть в узкий диапазон – сделать гоминидов достаточно умными для эффективной офисной работы, но недостаточно умными для взрывного технологического развития.

3. самоусиливающиеся процессы (как перегретый реактор приводит к выкипанию охлаждающей его воды, что ведет к дальнейшему перегреву) практически не дают права на ошибку. Но даже положение специалистов в ядерной энергетике не такое уж плохое по сравнению с разработчиками искусственного сверхинтеллекта. Перегревающиеся ядерные реакторы не начинают разумным образом перестраивать себя, чтобы увеличить свою реактивность, и не пытаются обмануть операторов, усыпляя их бдительность до тех пор, пока реактор не готов будет взорваться.

4. усложненность усугубляет инженерные проблемы. Четвертый энергоблок Чернобыльской АЭС умудрился войти в странное состояние, когда опускание управляющих стержней стало спусковым крючком для взрыва. Ни один инженер подобного не проектировал. Операторы не знали, что после работы реактора на низкой мощности и уменьшения подачи воды может произойти нечто необычное. И они никогда не сталкивались с таким быстрым изменением состояния реактора. Однако даже сложная внутренняя структура ядерного реактора меркнет по сравнению с теми неведомыми сложностями, что таятся в сотнях миллиардов весов, составляющих современную LLM.

В совокупности эти уроки подводят нас к еще одному правилу для инженеров: если вам неизвестно в точности, что происходит внутри какого-то сложного устройства, подверженного всем этим проклятиям