Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

услуг, таких как обеспечение безопасности. Чтобы узнать о населении больше, бюрократы собирают данные, изучают их и выявляют закономерности. Империи, церкви и корпорации во все времена собирали и анализировали данные о поведении миллионов людей. Однако наблюдение всегда было неполным. В демократических странах слежку ограничивали законы о защите частной жизни и прав личности, в тоталитарных режимах слежке мешали технические ограничения. Некоторая конфиденциальность существовала даже в сталинском СССР и в послевоенной Румынии, где установился режим, подобный сталинскому.

Из-за трудностей в сборе и анализе информации в XX веке ни одно тоталитарное государство не могло эффективно контролировать все население. Бóльшая часть того, что делали и говорили румынские и советские граждане, ускользало от внимания румынской Секуритате и советского КГБ. А многие донесения, попавшие в тайную полицию, так и оставались непрочитанными. Реальная сила Секуритате и КГБ заключалась не в способности постоянно следить за всеми, а в умении внушать страх повсеместной слежки, который заставлял людей проявлять крайнюю осторожность в словах и действиях.

Недремлющие агенты

Агенты Секуритате не сопровождали людей в туалет и в спальню – в отличие от нынешних смартфонов. Сегодня многие действия люди выполняют онлайн, предоставляя сети свои данные. По сути, они стали информаторами, доносящими на самих себя.

Компьютерная сеть не только эффективнее собирает информацию, но и анализирует ее гораздо быстрее любого человека. Сотрудник Секуритате за 40 лет мог бы прочесть около 2,6 млрд слов. В 2024 году алгоритмы способны справиться с такой задачей за пару часов. Фотографии, видео- и аудиозаписи алгоритмы тоже обрабатывают со сверхчеловеческой эффективностью.

Что еще важнее, алгоритмы намного превосходят людей в умении находить закономерности. Выявление закономерностей требует способности генерировать идеи и принимать решения. Чтобы выявить потенциального террориста, люди-аналитики сначала создают набор общих критериев, а затем решают, отвечает ли конкретный человек всем этим критериям в достаточной степени, чтобы вызывать подозрение.

К 2010-м годам люди стали все чаще делегировать принятие решений алгоритмам. Примерно в 2014–2015 годах Агентство национальной безопасности США внедрило инструмент ИИ под названием Skynet, который вносил людей в список потенциальных террористов на основе множества данных и критериев, которые прежде ускользали из поля зрения аналитиков. Skynet подвергался жесткой критике, но к 2020-м годам технология была усовершенствована и внедрена во многих странах.

Разумеется, компьютеры тоже ошибаются. Они вполне могут причислить к террористам невиновных людей. Сомнения вызывает и само определение терроризма: ведь многие режимы объявляли «террористами» всех своих оппонентов. Стало быть, решения ИИ могут отражать идеологическую предвзятость, а не объективные факты. Способность принимать решения и генерировать идеи неотделима от способности ошибаться. Но даже если ошибок удастся избежать, сверхэффективное выявление закономерностей может оказаться на руку диктаторам или мошенникам.

Эта способность алгоритмов имеет и огромный положительный потенциал: алгоритмы позволяют разоблачать коррумпированных чиновников и корпорации, уклоняющиеся от уплаты налогов, помогают диагностировать болезни и выявлять эпидемии. Но автор стремится разбавить утопические представления об алгоритмах, показав их темную сторону.

Цифровые бюрократы способны следить за гражданами повсеместно и круглосуточно. Как рыба живет в воде, так люди живут в цифровой бюрократии, постоянно вдыхая и выдыхая данные. Каждое действие человека оставляет след в виде данных, которые собираются и анализируются для выявления закономерностей.

Подкожное наблюдение

Цифровая бюрократия может следить даже за тем, что происходит внутри человеческого тела. Камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах уже способны фиксировать и анализировать малейшие движения глаз пользователя. По этим движениям компьютер отличает моменты концентрации от моментов отвлечения, а людей, фокусирующихся на деталях, – от тех, кто уделяет больше внимания контексту. По глазам компьютеры также могли бы узнать о здоровье, личных особенностях, интересах и предпочтениях человека. Цифровая бюрократия может использовать всю эту информацию в благих целях, например для ранней диагностики заболеваний. Но она также может заложить основу для самых жестоких тоталитарных режимов в истории.

Теоретически диктаторы будущего могли бы использовать свою компьютерную сеть для гораздо более глубоких наблюдений за гражданами. Например, процессы, происходящие в сердце и мозге человека, потенциально могут рассказать о его политических взглядах. Правительства и корпорации уже разрабатывают соответствующие технологии биометрии. В январе 2024 года компания Илона Маска Neuralink впервые имплантировала чип в мозг человеку.

Маск утверждает, что эта технология не только облегчит жизнь людям с различными заболеваниями, но и разовьет человеческие способности в целом и тем самым поможет людям конкурировать с ИИ. Но пока у чипов Neuralink и других биометрических устройств остается множество технических недостатков. Контролировать активность организма извне очень трудно, а имплантация электродов и прочих устройств мониторинга остается сложной, опасной, дорогой и малоэффективной процедурой.

Что еще важнее, никто пока не обладает необходимыми знаниями, чтобы делать выводы, например, о политических взглядах человека на основе данных об активности его мозга. Согласно одной из популярных теорий заговора, некие группировки, возглавляемые миллиардерами вроде Илона Маска, уже внедряют чипы людям в мозг, чтобы следить за ними и контролировать их. Но на самом деле людям следовало бы больше беспокоиться по поводу смартфонов, с которых они читают подобные теории заговора. Чип может отслеживать показатели организма вроде мозговой активности и пульса, тогда как смартфон знает, какие новостные каналы вы предпочитаете. Какие из этих данных полезнее для определения ваших политических взглядов? Сегодня смартфон все еще гораздо более ценный инструмент наблюдения, чем биометрические датчики.

Однако по мере накопления биологических знаний все может измениться. Если сеть научится точно узнавать, что вызывает у каждого гнев, страх или радость, то сможет предугадывать человеческие чувства и манипулировать ими, продавая потребителю все что угодно, будь то продукт, политик или война.

Конец частной жизни

В мире, где за людьми следили люди, нормой была все-таки конфиденциальность. Но в мире, где за людьми следят компьютеры, конфиденциальности может прийти конец. Сегодня нормой становится повсеместное использование инструментов наблюдения на основе ИИ. Эпоха постприватности наступает и в авторитарных странах, и в демократических мегаполисах.

Правительства, стремящиеся бороться с преступностью, подавлять инакомыслие или противостоять внутренним угрозам (реальным или мнимым), окутывают свои страны плотной сетью онлайн- и офлайн-слежения со шпионскими программами, камерами видеонаблюдения, ПО для распознавания лиц и голосов, а также базами данных с возможностью поиска.

Государства регулярно собирают биометрические данные населения. Большинство стран обязывают граждан при подаче заявления на паспорт оставлять отпечатки пальцев, сканы лица или радужной оболочки. При въезде в другие страны от путешественника тоже часто требуют отпечатки пальцев. Когда местные жители и туристы прогуливаются по улицам Дели, Пекина, Сеула или Лондона, их передвижения фиксируют камеры. В 2023 году в мире работало более миллиарда камер видеонаблюдения, то есть примерно по одной камере на каждые восемь человек.

Любые передвижения людей и их действия в интернете оставляют информационный след. Полученный массив данных анализируется с помощью ИИ для выявления незаконных и подозрительных действий, поиска пропавших без вести, обнаружения носителей вирусов или преследования политических диссидентов. Как и любая технология, инструменты ИИ могут использоваться как во благо, так и во вред.

В 2021 году такие инструменты помогли ФБР вычислить участников штурма Капитолия. В 2019 и 2023 годах в Китае с помощью алгоритмов распознавания лиц были найдены люди, похищенные много лет назад, еще в трехлетнем возрасте. В 2019 году датский футбольный клуб «Брондбю» начал использовать технологию распознавания лиц на своем домашнем стадионе для выявления хулиганов.

Хотя в теории подобное использование технологий похвально, возникают опасения по поводу нарушения конфиденциальности и превышения властями своих полномочий. Инструменты, помогающие найти преступников, спасти детей и наказать хулиганов, в нечистых руках могут быть использованы для преследования мирных демонстрантов. В конечном счете технологии наблюдения на базе ИИ могут привести к появлению режимов тотальной слежки и новых видов массовых автоматизированных репрессий.

Пример – преследование женщин в Иране за несоблюдение закона о ношении хиджаба. Если раньше за женщинами следила полиция нравов, то теперь это делают видеокамеры и технологии распознавания лиц. Автоматизированная система высылает предупреждения и налагает штрафы даже без участия людей.

В ближайшие годы, предполагает автор, многие люди будут жить в условиях такой тотальной слежки, по сравнению с которой