Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

умудрился оказаться в странном состоянии, когда опускание регулирующих стержней привело к взрыву реактора. Ни один инженер не закладывал этого в проект. Операторы не знали, что произойдет нечто из ряда вон выходящее, если реактор некоторое время проработает на малой мощности, а подача части воды будет перекрыта. И они никогда не видели, чтобы состояние реактора менялось так быстро. Сложная внутренняя структура ядерного реактора не идет ни в какое сравнение с неведомыми сложностями, скрытыми в сотнях миллиардов весовых коэффициентов, из которых состоит современная LLM.

Объединив эти уроки, мы извлекаем еще одно правило для инженеров: если кто-то не знает точно, что происходит внутри сложного устройства, подверженного всем этим проклятиям — скорости, узким границам, самоусилению и непредвиденным сложностям, — то он должен остановиться. Его следует отключить немедленно, как только его поведение покажется странным; не нужно ждать, пока это поведение станет явно тревожным.

Операторы на Чернобыльской АЭС знали о запаздывающих и мгновенных нейтронах. Они знали, что ядерный реактор балансирует на грани жизни и смерти шириной в доли процента. Они знали теорию, согласно которой кажущийся управляемым человеком масштаб времени работы реактора — это лишь иллюзия, хитроумная уловка, скрывающая время генерации нейтронов, измеряемое микросекундами.

Мудрый оператор относится к подобному устройству с должным уважением. Если прибор начинает вести себя странно или неожиданно, значит, он больше не работает в тех узких, строго ограниченных рамках, где операторы уверены, что точно понимают происходящее. А это значит, что никто больше не знает, что там внутри происходит. Кто знает, продолжат ли работать хитроумные уловки? Остается только гадать. Когда опасное устройство начинает вести себя странно, это не время извлекать все стержни управления, кроме восьми, и надеяться, что реактор продолжит послушно работать. Это время его глушить.

Операторы не относились к реактору с таким уважением. Теоретически они знали, что он может взорваться, но никогда не видели, чтобы состояние реактора менялось так быстро. К тому же до 1986 года в СССР не существовало культуры, способствующей осторожности при работе с ядерными реакторами. Это была система, в которой за невыполнение планового испытания безопасности увольняли.

(В следующих главах мы обсудим отсутствие культуры безопасности, царящее в сфере ИИ, ситуация в которой обстоит гораздо хуже.)

КОМПЬЮТЕРНАЯ БЕЗОПАСНОСТЬ

Компьютерная безопасность общепризнанно считается проблемой настолько сложной, настолько проклятой, что решить ее невозможно — и точка.

Вы можете платить специалистам по компьютерной безопасности, чтобы сделать программное обеспечение более защищенным. Но лучшее, на что может надеяться любой специалист по безопасности, — это замедлить злоумышленников, чтобы взломать вашу защиту без труда могли только крупные спецслужбы при поддержке целых государств.

Почему? Потому что умный злоумышленник может воздействовать на компьютерную систему такими способами, которые разработчик никогда не планировал и не рассматривал, и которые при обычном использовании не проявились бы и за миллиард триллионов лет.

Классический взлом системы безопасности выглядит следующим образом: компьютер запрашивает имя пользователя. Хакер вводит имя длиной в 280 букв. Программист не учел, что имя вообще может быть таким длинным; он предполагал, что длина имени составит максимум 256 букв. Оставшиеся 24 буквы выходят за пределы отведенного программистом места для хранения имени пользователя и записываются в те области компьютерной памяти, к которым, по мнению программиста, пользователь никогда не должен был иметь доступа. Восемь из этих букв перезаписывают фрагмент памяти, который указывает компьютеру, какую часть кода выполнять следующей. Подберите правильные странные буквы — и вот уже компьютер выполняет код, который выполнять не должен. Из этого часто можно извлечь выгоду, получив контроль над всей компьютерной системой. Это называется «атаками методом переполнения буфера».

Подобная атака направляет компьютерную систему по странному причинно-следственному пути — «пути исполнения», который совершенно не похож на нормальное поведение системы и на который ни один обычный пользовательский ввод не натолкнулся бы и за миллиард лет. В самом буквальном смысле: если программист начнет наугад тестировать 280-буквенные имена, то почти каждый вариант окажется бессмыслицей и приведет лишь к безобидному сбою компьютера. Точно подобранный неверный адрес ввода, запускающий именно ту программу, которая позволяет злоумышленнику перехватить контроль над системой, — это лишь один вариант из 18 миллиардов миллиардов возможных. Случайно она не обнаружится.

Продумывание задуманного поведения экрана входа в систему не поможет вам понять, на что способен умный злоумышленник. Тестирование на случайных вводных данных этого тоже не покажет. Злоумышленник, который понимает систему лучше вас, может выудить единственный неверный ответ из 18 миллиардов миллиардов вариантов, чтобы найти тот единственный результат, который даст ему максимальный контроль.

Компьютерная безопасность — это проверка способности инженера просчитать и заблокировать абсолютно каждый путь, по которому может пойти компьютер, перед лицом противников, способных перебирать все возможные способы дестабилизировать систему. Это заведомо проигрышная битва — даже при том, что инженеры могут полностью контролировать и сами создавать код собственного компьютера.

Мы называем эту ключевую проблему проклятием граничных случаев: чтобы быть безопасной, компьютерная система должна продолжать работать перед лицом сценариев, выходящих за рамки нормального и ожидаемого диапазона — сценариев, которые возникают на самой грани возможного.

Быстрые процессы, минимальные запасы прочности, петли обратной связи, сложности — все эти инженерные проклятия можно преодолеть. Существуют космические зонды, которые действительно достигают пункта назначения, существуют ядерные реакторы, которые не взрываются. Проклятиям, довлеющим над этими задачами, человеческая изобретательность способна противостоять и даже побеждать их.

Проклятие граничных случаев представляет собой совершенно иной уровень сложности. Компетентные специалисты по компьютерной безопасности понимают, что сделать полезные компьютерные системы по-настоящему защищенными — задача, выходящая за рамки человеческих возможностей. Известный эксперт по безопасности Брюс Шнайер пишет в своей книге «Секреты и ложь. Безопасность технологий в сетевом мире»: «Современные системы имеют так много компонентов и связей — некоторые из которых неизвестны даже проектировщикам, создателям или пользователям этих систем, — что уязвимости остаются всегда».

Урок для ИИ здесь заключается не просто в том, что сверхразум сможет взламывать человеческие компьютеры — хотя, разумеется, он на это способен. Речь идет скорее об общей хрупкости системных ограничений перед лицом странных граничных случаев, которые отыскивает разум.

Если бы вы надеялись, что ИИ будет вести себя приличнее, чем взрывающийся ядерный реактор, вы могли бы попытаться наложить на систему ограничения: «Пока не становись слишком умным». «Пока не думай слишком быстро». «Всегда дожидайся одобрения от медлительных людей». «Реши эту сложную задачу, но не совершая ничего странного».

Эти ограничения, как правило, будут мешать ИИ в достижении тех или иных целей. И тогда вам придется состязаться собственным умом и способностью просчитывать граничные случаи со всем