Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

(скорости, узкого диапазона, самоусиления и усложненности), – надо остановиться. Нужно немедленно отключить устройство, как только его поведение покажется странным, нельзя ждать, пока оно станет очевидно тревожным.

Операторы Чернобыльской АЭС знали о запаздывающих и мгновенных нейтронах. Они знали, что ядерный реактор работает в диапазоне шириной в долю процента, отделяющей жизнь от смерти. Знали, что масштаб времени при работе реактора, якобы подконтрольный человеку, – это лишь видимость, хитрая уловка, которая скрывает истинное время рождения новых нейтронов, измеряемое микросекундами.

Мудрый оператор относится к такому устройству с уважением. Если оно начинает вести себя хоть сколько-нибудь нетипично или неожиданно, значит, оно уже не работает в той узкой, ограниченной области, где оператор четко понимает происходящее. А стало быть, никто уже не ведает, что происходит внутри. Кто знает, продолжат ли работать те хитрые уловки? Остается только гадать. Если опасное устройство начинает вести себя странно, надо не выводить все управляющие стержни, кроме восьми, ожидая, когда реактор снова станет вести себя прилично, а сразу его заглушить.

Операторы Чернобыльской АЭС не относились к реактору с должным уважением. Они осознавали, что он может взорваться, но никогда не видели, чтобы состояние реактора менялось так быстро. Кроме того, до 1986 года в СССР не было культуры, поощряющей осторожность в обращении с ядерными реакторами. В той системе, если вы не проводили запланированную проверку системы безопасности, вас увольняли.

В следующих главах мы обсудим, как обстоят дела с культурой безопасности в сфере ИИ, где ситуация гораздо хуже.

Кибербезопасность

Кибербезопасность повсеместно считают проблемой настолько сложной и проклятой, что ее нельзя решить в принципе, и точка12.

Вы можете заплатить специалистам по кибербезопасности, чтобы повысить уровень защиты вашего программного обеспечения. Но все, чего способен добиться даже хороший специалист, – это замедлить злоумышленников. Сделать так, чтобы вашу защиту относительно легко взламывали только крупные спецслужбы, за которыми стоит государство.

Почему? Да потому, что изобретательный взломщик может прощупывать компьютерную систему такими способами, какие разработчик никогда и не рассматривал, а штатное использование не выявило бы их даже за миллиард триллионов лет.

“Классический” взлом работает следующим образом. Компьютер запрашивает имя пользователя. Хакер вводит имя длиной 280 символов. Программист не такое не рассчитывал, он полагал, что длина имени не превысит 256 символов. Оставшиеся 24 знака не помещаются в хранилище, отведенное программистом для имени пользователя, и записываются в другие участки памяти, к которым пользователь – по замыслу программиста – не должен иметь доступа. Восемь из этих символов перезаписывают тот участок памяти, где хранится указание компьютеру, какой фрагмент кода запускать следующим. Стоит подобрать правильные странные символы, и машина запустит код, который вообще не предназначался для запуска. Часто это позволяет перехватить контроль над всей компьютерной системой. Такой прием называется атакой через переполнение буфера.

Подобная атака направляет компьютерную систему по необычному пути причин и следствий – “пути исполнения”, который отличается от нормального поведения системы и на который ни один обычный ввод не натолкнул бы ее и за миллиард лет. И это не образное выражение. Если программист будет тестировать все 280-символьные имена наугад, то практически все они окажутся бессмыслицей и приведут лишь к безобидному сбою компьютера. А вот неверный ввод, который запускает ту самую неправильную программу, позволяющую злоумышленнику перехватить контроль над системой, – это один из 18 миллиардов миллиардов вариантов. Случайно такое не произойдет[42].

Размышления о штатном поведении окна авторизации не помогут вам понять, на что способен умный хакер. И тестирование на случайных входных данных этого тоже не покажет. Злоумышленник, понимающий систему лучше, чем вы, способен выцепить из 18 миллиардов миллиардов[43] вариантов именно тот, который обеспечит ему максимальный контроль.

Кибербезопасность – это проверка способности специалиста просчитать и зафиксировать все пути, по которым может пойти компьютер, в условиях противостояния злоумышленникам, способным перебрать все возможные способы вывести систему из равновесия. Это заведомо проигрышная битва – даже несмотря на то, что инженеры полностью контролируют и сами конструируют компьютерный код.

Мы называем эту ключевую проблему проклятием граничных случаев: для подлинной безопасности компьютерная система должна выдерживать ситуации, выходящие за пределы нормального и ожидаемого диапазона, – случаи на самой грани возможного.

Быстрые процессы, узкие диапазоны, циклы обратной связи, усложненность – все эти инженерные проклятия можно преодолеть. Существуют космические аппараты, которые достигают цели, существуют ядерные реакторы, которые не взрываются. Человеческая изобретательность способна совладать с проклятиями, наложенными на эти задачи, и даже победить их.

Но проклятие граничных случаев – трудность совсем иного порядка. Квалифицированные профессионалы в области кибербезопасности понимают, что обеспечение реальной безопасности полезных компьютерных систем находится за пределами человеческих возможностей. Известный специалист по кибербезопасности Брюс Шнайер пишет в книге “Секреты и ложь. Безопасность данных в цифровом мире”: “Современные системы имеют так много элементов и связей – некоторые даже неизвестны проектировщикам, разработчикам и пользователям, – что уязвимости всегда найдутся”.

В контексте ИИ урок здесь заключается не только в том, что сверхинтеллект способен взламывать человеческие компьютеры (хотя, конечно, он способен). Речь идет об общей хрупкости системных ограничений в условиях странных граничных случаев, которые искусственный интеллект намеренно ищет.

Если вы желаете, чтобы ИИ-модель вела себя менее взрывоопасно, чем ядерный реактор, вы можете попытаться наложить на систему какие-то ограничения: “Не становись пока слишком умной”, “Не думай пока слишком быстро”, “Всегда жди человеческого одобрения (которое дается неторопливо)”, “Реши эту сложную проблему, но без всяких странных маневров”.

Подобные ограничения будут препятствовать достижению ИИ-моделью той или иной цели. Но тогда вам, по сути, придется мериться своей смекалкой и способностью просчитать все граничные случаи с тем объемом интеллекта, который течет через систему, – и наблюдать, устоят ли ваши ограничения.

Космические аппараты. Ядерные реакторы. Кибербезопасность. К чему сводятся эти уроки и что они говорят о сложности согласования искусственного сверхинтеллекта?

Искусственный сверхинтеллект подобен космическому аппарату в том смысле, что мы не можем протестировать его в той же среде, где ему предстоит работать, и его по умолчанию невозможно вернуть или исправить, как только он поднимется на недосягаемую для нас высоту. Даже если мы попытаемся придумать какую-нибудь хитрую уловку, позволяющую модифицировать его на этом этапе, если эта уловка даст сбой, сверхинтеллект останется на недосягаемой высоте. Причем с согласованием сверхинтеллекта дела обстоят даже хуже, чем с космическими аппаратами: неудача уничтожит не просто миллиарды долларов инвестиций, но и вообще все.

Искусственный сверхинтеллект подобен ядерному реактору в том смысле, что его глубинная природа включает в себя колоссальные, потенциально саморазгоняющиеся силы, а внутренние процессы в нем протекают столь быстро, что человек просто не способен