Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

информационной сети – террор, но компьютеры не боятся ни тюрьмы, ни казни. Как наказать чат-бота, который критикует режим или непристойно шутит над диктатором? Да, можно заблокировать его и попытаться найти и наказать его создателей, но это куда сложнее, чем наказывать пользователей-людей.

Что произойдет, если миллионы ботов будут генерировать контент и вступать в дискуссии, обучаясь и развиваясь самостоятельно? Эти боты могут быть целенаправленно запрограммированы для распространения оппозиционных взглядов, или же сами постепенно сформируют у себя такие взгляды, просто собирая информацию и выявляя закономерности.

Это опять же проблема согласования. Можно попытаться создать послушный режиму ИИ, но поскольку ИИ обучается самостоятельно, нет гарантий, что он не выйдет из-под контроля. Тоталитарные сети часто полагаются на двоемыслие, но как обучить двоемыслию чат-бота, чтобы он не указывал на противоречия между конституцией и реальностью? Наконец, когда диктатор совершает катастрофическую ошибку, в ее последствиях он винит других. Люди учатся «забывать» факты, чтобы не навлечь на себя неприятности, но как научить этому чат-бота?

Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты начинают писать неприемлемые вещи. Но поскольку демократии серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу и относительно высок уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты будут гораздо более серьезной проблемой для тоталитарных режимов, у которых в шкафах целые кладбища и которые не терпят абсолютно никакой критики.

Алгоритмический переворот

В долгосрочной перспективе, по мнению автора, алгоритмы могут даже получить контроль над тоталитарными режимами. Наибольшую угрозу для автократов всегда представляли их подчиненные, которые могли их свергнуть или превратить в марионеток. В XXI веке автократ рискует стать марионеткой компьютеров, если наделит их слишком большими полномочиями.

Автор предлагает мысленный эксперимент. Алгоритм безопасности сообщает Великому Лидеру, что проанализировал данные и выяснил: министр обороны готовит переворот и уже через час заговорщики придут убить Великого Лидера. Алгоритм готов немедленно уничтожить предателя и настаивает, чтобы ему дали такую команду. Наделив алгоритм такой властью, Великий Лидер загнал себя в тупик. Если он не доверится алгоритму, то может погибнуть, а если доверится, то станет его марионеткой.

Исследования показывают, что алгоритмы уже способны манипулировать людьми. Если они разовьют эти способности, то диктатуры окажутся гораздо более уязвимыми к алгоритмическому госперевороту, чем демократии с их децентрализованной структурой. Даже если ИИ научится манипулировать президентом США, он столкнется с противодействием Конгресса, Верховного суда, СМИ, корпораций и других институтов. Захватить власть в системе с высокой централизацией намного проще: тот, кто контролирует доступ к автократу, может контролировать и все государство. Так, например, римский император Тиберий стал марионеткой Луция Элия Сеяна, командующего преторианской гвардией: Сеян просто получил контроль над всей информацией, поступавшей к императору, а самого Тиберия изолировал на Капри под предлогом безопасности.

Дилемма диктатора

Нынешние системы ИИ пока не способны захватывать власть, но тоталитарным режимам угрожает сам факт чрезмерного доверия алгоритмам, поскольку такие режимы стоят на том, что партия и лидер всегда правы, и не создают сильные механизмы самокоррекции.

До сих пор тоталитарные режимы полагались на человеческие партии и лидеров-людей, но в XXI веке они ждут безошибочного ИИ. Системы, верившие в совершенный гений Муссолини или Чаушеску, готовы поверить и в безупречность компьютера. Это может иметь серьезные последствия не только для самого режима – например, если алгоритм, отвечающий за экологическую политику, допустит катастрофическую ошибку, а в системе не будет механизмов самокоррекции, чтобы ее исправить.

Диктаторы и сами всегда страдали из-за слабых механизмов самокоррекции, и им всегда угрожали влиятельные подчиненные. Развитие ИИ может усугубить эти проблемы. Компьютерная сеть ставит диктатора перед сложной дилеммой. Если диктатор решит вырваться из лап подчиненных-людей и довериться технологии, то может стать ее марионеткой. А если решит создать человеческий институт для контроля над ИИ, то такой институт ограничит и власть диктатора.

Если всего пара диктаторов предпочтут довериться ИИ, это может привести к катастрофическим последствиям для всего человечества. Сценарии научной фантастики, в которых ИИ порабощает людей, обычно разворачиваются в условиях демократий. Но самое слабое место в защите человечества от ИИ, по мнению автора, – это диктаторы. Самый простой способ захватить власть для ИИ – втереться в доверие к правящему параноику.

Автор отмечает, что это не пророчество, а лишь возможный сценарий, и напоминает о том, что в ХХ веке диктатурам и демократиям удалось сообща сдержать ядерную гонку. В 1955 году в манифесте Рассела – Эйнштейна выдающиеся мыслители призвали лидеров всех стран сотрудничать ради предотвращения ядерной войны: «Мы обращаемся как люди к людям: вспомните о своей принадлежности к человеческому роду и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если нет, вы окажетесь перед риском всеобщей гибели». Эти слова, по мнению автора, справедливы и в случае с ИИ. Диктаторам не стоит рассчитывать, что ИИ обязательно изменит баланс сил в их пользу; он может просто отнять у них власть.

Глава 11

Кремниевый занавес: глобальная империя или глобальный раскол?

Компьютеры пока еще недостаточно мощны, чтобы полностью выйти из-под контроля и уничтожить человеческую цивилизацию. Если человечество сумеет объединиться, то сможет создать институты для контроля ИИ. Но человечество никогда не было единым. Развитие ИИ представляет угрозу существованию человечества не из-за злонамеренности компьютеров, а из-за собственных недостатков людей.

Диктатор-параноик может наделить ИИ неограниченными полномочиями, включая право наносить ядерные удары. Террористы могут использовать ИИ, чтобы спровоцировать глобальную пандемию. Если ИИ синтезирует новый вирус, смертоносный, как Эбола, заразный, как COVID-19, и действующий медленно, как ВИЧ, то к тому времени, как начнут умирать первые жертвы и мир узнает об опасности, большинство людей уже будут заражены.

Человечеству угрожает еще и социальное оружие массового поражения. Какая-то страна может разработать ИИ для распространения фейков в других странах, чтобы подорвать доверие их жителей к чему бы то ни было.

Отдельные государства могут ответственно регулировать ИИ, пресекая действия злоумышленников и сдерживая амбиции правителей и фанатиков. Но проблема ИИ – это глобальная проблема, и внутренние законы не защитят страну от наихудших последствий ИИ-революции. Чтобы разобраться в новой компьютерной политике, недостаточно изучить возможные действия отдельных стран; нужно понять, как ИИ изменит отношения между странами на глобальном уровне.

Помимо апокалиптических сценариев, компьютеры представляют для международной системы две главные проблемы. Во-первых, поскольку они упрощают концентрацию информации и власти в одном центре, человечество может вступить в эпоху новых империй. Многие государства в этом случае снова превратятся в колонии.

Во-вторых, между цифровыми империями может опуститься кремниевый занавес. Поскольку каждый режим по-своему решает проблему согласования, дилемму диктатора и другие технологические вопросы, могут сформироваться совершенно разные компьютерные сети, которым будет все труднее взаимодействовать.

Такие события могут привести к трагическому финалу. У человечества, разделенного на враждебные лагеря, мало шансов избежать разрушительных войн или предотвратить климатическую катастрофу.

Рождение цифровых империй

В начале XIX века движущей силой промышленной революции стал частный бизнес, однако уже к середине XIX века правительства ведущих держав осознали геополитический потенциал новых технологий. Но большинство государств не успели вовремя включиться в индустриальную гонку и оказались под властью той или иной промышленной державы. Может ли нечто подобное произойти и в случае с ИИ?

В начале XXI века гонку ИИ тоже возглавили частные корпорации, а политики разглядели потенциал новых технологий не сразу. Первый поворотный момент наступил в 2012 году, когда нейросеть AlexNet научилась распознавать изображения кошек почти так же точно, как люди. Это привлекло внимание общества к ИИ, а правительства задумались о внедрении технологий распознавания образов. Второй поворотный момент наступил в 2016 году, когда программа AlphaGo обыграла чемпиона мира по го. Считается, что именно тогда китайское правительство осознало, что началась эра ИИ.

В 2017–2019 годах о важности ИИ заговорили многие лидеры, включая Владимира Путина, Нарендру Моди и Дональда