Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл

Китаем, Соединенные Штаты опубликовали политическую декларацию об ответственном использовании искусственного интеллекта и автономных систем в военных целях. В этом документе США призвали другие страны придерживаться разумных правил, которые, в частности, гарантируют сохранение контроля над ядерным оружием за человеком71. Однако само понятие «человеческий контроль» вызывает некоторые вопросы. Если в будущем человек отдаст приказ ИИ «остановить ожидаемый ядерный удар», какой уровень свободы он должен предоставить системе? Заметим, что ИИ, достаточно продвинутый для выполнения такой задачи, может быть с успехом использован и для нападения.

Поэтому нам, так или иначе, придется признать, что ИИ – технология принципиально двойного назначения. Это касается даже существующих систем. Например, такой же беспилотник, который используется для доставки медикаментов в больницу, куда невозможно добраться наземным транспортом во время сезона дождей, может сбросить на эту больницу бомбу. Следует помнить, что военные уже на протяжении десяти лет используют беспилотные устройства настолько точные, что они могут направить ракету в нужное окно дома буквально с другой стороны земного шара72.

Нам также стоит задуматься, действительно ли мы хотим соблюдать запрет на смертельное автономное оружие, если противник не придерживается подобных ограничений. Что, если враждебно настроенное государство отправит армию боевых машин под управлением ИИ, чтобы захватить нас? Разве вы не захотели бы иметь на своей стороне еще более продвинутые машины, которые могут победить врага и защитить вас? Это главная причина, по которой кампания «Остановите роботов-убийц» не получила широкого признания73. По состоянию на 2023 год все ведущие военные державы отказались присоединиться к ней, за исключением Китая, который поддержал идею в 2018 году, но позже разъяснил, что поддерживает запрет на применение, но не на разработку74. Хотя даже Китай, вероятно, руководствовался стратегическими и политическими, а не моральными соображениями, поскольку автономные системы, стоящие на вооружении США и их союзников, превосходят китайские. Я считаю, что если мы можем подвергнуться нападению с использованием такого оружия, то у нас должна быть возможность дать отпор. Это, в свою очередь, неизбежно приведет к нарушению озвученных принципов.

Кроме того, что будет означать выражение «под контролем человека», если уже в 2030-х годах люди будут в процессе принятия решения полагаться на небиологическое расширение своего разума через интерфейс мозг-компьютер? Доля цифровых компонентов в мыслительном процессе будет стремительно расти, в то время как биологическая основа разума останется прежней. Так что к концу 2030-х годов наше мышление будет во многом определяться цифровыми процессами. Возникает вопрос: какое решение можно считать по-настоящему человеческим, если даже наш разум будет во многом подобен компьютерному?

Некоторые из асиломарских принципов также содержат нерешенные вопросы. Например, положение 7, «Прослеживаемость ошибок», гласит: «Если система на основе ИИ нанесла ущерб, должна быть возможность точно установить, по какой причине это произошло». А статья 8, «Прозрачность судебных решений», призывает: «Любое участие автономной системы в процессе принятия судебного решения должно сопровождаться исчерпывающими пояснениями, которые могут быть проверены компетентным экспертом».

Эти попытки внести ясность в принципы принятия решений искусственным интеллектом очень важны. Однако главная сложность заключается в том, что мы сможем понять логику сверхмощного разума, какое бы объяснение тот ни привел. Если программа, которая играет в го намного лучше самых выдающихся игроков, объяснит свои стратегические ходы, не факт, что даже самый умелый игрок в мире (не имеющий кибернетических модификаций) до конца в них разберется75. Одним из перспективных подходов к снижению рисков, связанных с непрозрачностью ИИ, является принцип «выявления скрытого знания»76. Работающие в этом ключе исследователи стараются разработать методику, как заставить ИИ в ответ на запрос предоставлять всю известную ему релевантную информацию, а не только то, что, по его мнению, мы хотим знать – это как раз по мере роста способностей ИИ будет нести все больше рисков.

В принятых положениях также настоятельно рекомендуется отказаться от соперничества при разработке ИИ. В частности, в положении 18, озаглавленном «Гонка вооружений в сфере ИИ», недвусмысленно сказано: «Необходимо избегать гонки вооружений при создании автономного смертоносного оружия». А статья 23, озаглавленная «Общее благо», призывает к разработке сверхинтеллекта с учетом этических идеалов, разделяемых всем мировым сообществом, и на благо всего человечества, а не в интересах отдельных государств или организаций. Однако, учитывая, что мощный искусственный интеллект может стать решающим инструментом в военных операциях и принести невиданную экономическую выгоду, военные ведомства с большой вероятностью будут стремиться овладеть им77. Это не только повышает риски злоупотреблений, но и увеличивает шансы, что мерами предосторожности при проектировании его поведения будут пренебрегать.

Мы уже обращали внимание на пункт 10, который касается соответствия ИИ гуманитарным ценностям. В следующей статье, озаглавленной «Гуманитарные ценности», поясняется, какие именно принципы следует соблюдать: «Системы ИИ должны быть спроектированы и использованы таким образом, чтобы их поведение соответствовало идеалам человеческого достоинства, гражданских прав и свобод, а также культурного разнообразия».

Однако просто поставить перед собой такую цель недостаточно, необходимо еще ее достичь. И в этом заключается главная проблема с искусственным интеллектом. Сверхмощный искусственный разум, который стремится причинить вред, без труда найдет оправдание для своих действий, объяснив, что совершить их пришлось ради более высокой цели. И даже сможет сформулировать свое обоснование в терминах философии, которую мы все разделяем.

Эффективно ограничить развитие какого-либо фундаментального качества ИИ весьма сложно, особенно учитывая широкое значение, которое вкладывается в понятие «интеллект». К счастью, когда эта книга готовилась к печати, появились обнадеживающие признаки того, что правительства развитых стран проявляют к этой теме повышенное внимание. В частности, стоит отметить подписание Декларации Блетчли на саммите по проблемам безопасности в сфере ИИ, который состоялся в 2023 году в Великобритании78. Однако многое будет зависеть от того, насколько эффективно странами будут выполняться взятые на себя обязательства. Весомый повод для оптимизма дает принцип рыночной свободы: на каждом этапе своего развития мощный ИИ должен найти свое место в экономике. Иными словами, ИИ создается людьми ради решения проблем других людей, что дает разработчикам мощный стимул сделать его полезным. Поскольку ИИ формируется в условиях развитой экономической инфраструктуры, его применение будет отражать наши ценности, ведь в каком-то смысле мы будем неразделимы. Мы уже стали цивилизацией людей и машин. В этой связи самое важное, что мы можем сделать для обеспечения безопасности использования ИИ, это продолжать защищать и развивать наши принципы управления и гражданские институты. Лучший способ избежать разрушительных конфликтов в будущем – это сохранять высокие нравственные идеалы. Благодаря им нам уже удалось значительно снизить уровень насилия в последние века и особенно в последние десятилетия79.

Также я убежден, что