Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

человечество, изучить, какие “проклятия” с ними связаны, и извлечь уроки. Возможно, после этого мы сумеем сделать обоснованное предположение о степени сложности интересующей нас проблемы согласования искусственного сверхинтеллекта.

Мы полагаем, что уроки истории обретают ясность, если взглянуть на них под правильным углом. Поэтому давайте рассмотрим трудности при конструировании работоспособных космических аппаратов, надежных ядерных реакторов и компьютеров, которые нельзя взломать, – проблемы, имеющие, на наш взгляд, важные сходства с согласованием искусственного сверхинтеллекта.

Космические аппараты

Разрыв между до и после – это то же самое проклятие, из-за которого терпят неудачу многие космические аппараты. После запуска они становятся недосягаемыми, и если произойдет какая-то неполадка – несмотря на все тщательные расчеты и испытания, – то исправить ее зачастую будет уже невозможно.

Космические аппараты – не расходный материал. Они чрезвычайно дороги. На их успех люди ставят свои научные и управленческие карьеры. И тем не менее миссии регулярно проваливаются.

В августе 1993 года мы потеряли связь с запущенной годом ранее автоматической межпланетной станцией Mars Observer, стоимость которой по тогдашним ценам составляла 813 миллионов долларов1. Это произошло за несколько дней до ее выхода на орбиту Марса. Наиболее вероятная причина – утечка топлива через клапан во время полета, что привело к взрывному разрыву топливопровода при подаче давления для повторного запуска двигателя.

В 1999 году потерялся аппарат Mars Climate Orbiter, обошедшийся в 327 миллионов долларов2. Навигационное программное обеспечение NASA ожидало, что расчеты для тяги двигателей проведены в метрических единицах, а наземное программное обеспечение от Lockheed Martin передало их в британских единицах. В результате аппарат либо сгорел в атмосфере Марса, либо срикошетил и ушел в космос.

Пару месяцев спустя на Красной планете разбилась автоматическая межпланетная станция Mars Polar Lander стоимостью 110 миллионов долларов3. Причины неизвестны. Одно из предположений – преждевременное отключение тормозных двигателей. Возможно, посадочные опоры так вибрировали, что аппарат решил, будто уже приземлился.

Когда неполадки случаются на межпланетной станции, приближающейся к Марсу, вы не можете просто прибежать и все починить. До запуска можно придумать различные хитроумные уловки, чтобы сохранить контроль над космическим аппаратом, когда он будет находиться вне досягаемости, например, оснастить его антенной, принимающей дополнительные инструкции с Земли. Но если уловка не помогает – допустим, сбой происходит так быстро, что у аппарата нет времени получить инструкции по его устранению, – то после перехода через этот разрыв исправить ситуацию невозможно.

Именно при таких обстоятельствах был потерян спускаемый аппарат “Викинга-1” (стоимостью 610 миллионов долларов в ценах 1975 года)4. Наземный пункт управления попытался обновить программное обеспечение для зарядки аккумуляторов, но по ошибке отправил данные, используемые для ориентации антенны. Антенна застыла в неправильном положении, и модуль утратил возможность принимать дальнейшие инструкции. Связь так и не восстановили[36].

Когда космические аппараты оказываются в космосе, условия среды не совпадают в точности с теми, в которых проводились тесты на Земле. Возможно, инженеры в принципе могли бы провести до запуска все те испытания, которые выявили бы любые проблемы, однако в реальности они этого не делали.

Любой здравомыслящий инженер пришел бы в ужас от идеи поставить на кон выживание человеческой цивилизации в задаче такого рода – где нельзя просто вмешаться и исправить ошибки, возникающие на этапе “после”, когда устройство уже вышло из зоны досягаемости. А ведь космические аппараты конструируются, а не выращиваются, и тем не менее они выходят из строя, несмотря на титанический труд инженеров, которые понимают все принципы их работы. А если бы космические аппараты выращивались, а не конструировались? Задача оказалась бы куда сложнее.

Ядерные реакторы

Еще один исторический пример сложной инженерной проблемы, из которого мы можем извлечь для себя урок, – это разрушение реактора в четвертом энергоблоке Чернобыльской АЭС 26 апреля 1986 года.

Вскоре после аварии двести тридцать семь человек оказались в больнице, тридцать один – умер5. В основном это были пожарные, которые не знали о радиации и без какой-либо защиты тушили пожар на крыше, вызванный смертельно опасным радиоактивным графитом из активной зоны взорвавшегося реактора, а также эксплуатационный персонал станции. Оценки количества смертей от рака, вызванного радиацией, резко различаются. Мы (авторы) склонны считать правдоподобной оценку примерно в десять тысяч избыточных смертей по всему миру, но на экспертное знание в этом вопросе не претендуем[37].

Политические лидеры действительно не хотели ядерных катастроф. Они стремились к отсутствию взрывов. Их подчиненные – инженеры и проектировщики – тоже понимали, что авария грозит им суровыми последствиями. У персонала станции имелись очевидные стимулы не допускать взрыва, ведь на кону стояли собственные жизни этих людей. И тем не менее четвертый энергоблок атомной электростанции взорвался. Как? Почему?

Сильно упрощая, мы выделим четыре “проклятия”, которые в совокупности привели к взрыву.

Во-первых, проклятие скорости. Ядерные реакции происходят быстро. Когда ядро атома урана распадается (делится), оно испускает нейтроны, которые могут ударить в другие атомы урана и вызвать их деление, высвобождая новые нейтроны, и так далее. Это называется цепной реакцией. Описанный процесс происходит в масштабе микросекунд. Если он хоть немного выйдет из-под контроля, количество выделяющейся энергии может начать удваиваться каждые несколько миллисекунд.

Обычный ядерный реактор вообще способен функционировать лишь потому, что крошечная доля нейтронов, высвобождаемых при делении, – это так называемые запаздывающие нейтроны, испускаемые осколками ядер только через некоторое время (от долей секунды до нескольких минут). Если для самоподдержания ядерной цепной реакции требуются такие запаздывающие нейтроны, то количество выделяющейся энергии удваивается за минуты, то есть достаточно медленно, чтобы операторы-люди могли контролировать процесс.

Но так происходит, если внутри реактора все работает в нормальном режиме.

Ядерные реакторы рассчитаны на работу в масштабе минут, а не микросекунд. Однако это лишь тонкая ширма, за которой скрыты гораздо более стремительные процессы. Если что-то идет не так, истинная физическая скорость ядерных реакций вступает в свои права.

Во-вторых, проклятие узкого диапазона. Существует лишь узкая полоса между нормальным функционированием и взрывом. Запаздывающие нейтроны составляют менее 1 % от всех нейтронов, высвобождаемых при делении урана (если точнее – 0,65 %). Остальные – это мгновенные нейтроны, которые испускаются сразу же при делении атома.

Критически важная величина, определяющая режим работы ядерного реактора, – это коэффициент размножения нейтронов, показывающий, сколько каждый нейтрон создает новых6. Если он составляет 50 %, то четыре нейтрона дают два новых, а те – один, и реакция затухает, все стабилизируется на уровне, вдвое превышающем скорость спонтанного деления. Небольшой брусок радиоактивного металла с таким свойством – это просто кусок холодного металла, который лишь неуловимо теплее, чем такой же брусок,