Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

Разновидности наблюдения

В XXI веке слежкой занимается не только государство. Ревнивые супруги устанавливают семейную диктатуру, отслеживая переписку в соцсетях и поисковые запросы партнера и даже задействуя для шпионажа встроенные в телефон микрофоны и камеры. Все больше работников из разных сфер оказывается под пристальным наблюдением работодателей. А корпорации следят за клиентами, желая выведать их предпочтения. Исследовательница Шошана Зубофф называет эту коммерческую систему мониторинга «надзорным капитализмом».

В дополнение ко всем этим видам наблюдения «сверху вниз» существуют одноранговые системы, в которых люди постоянно следят друг за другом. Например, корпорация Tripadvisor поддерживает глобальную систему, которая отслеживает отели, рестораны, прочие места отдыха – и самих туристов. В 2019 году ею воспользовались 463 млн туристов, которые просмотрели 859 млн отзывов. Именно сами пользователи, а не алгоритмы, решают, стоит ли посетить то или иное заведение. Люди, пообедавшие в ресторане, могут оценить его по шкале от 1 до 5, а также добавить фотографии и отзывы. Алгоритм же просто собирает данные, вычисляет средние оценки, ранжирует по ним рестораны и выставляет результаты на всеобщее обозрение.

Алгоритм ранжирует и пользователей, которые получают баллы за отзывы и фотографии и штрафуются за нарушения. Это одноранговая система наблюдения: все оценивают друг друга. Tripadvisor не нужно вкладываться в камеры, шпионское ПО или сложные биометрические алгоритмы. Почти все данные предоставляют пользователи, и почти всю работу выполняют они же.

Одноранговые сети наблюдения разрушают ощущение приватности у миллионов таксистов, парикмахеров, косметологов и других частных поставщиков услуг. По словам журналистки Линды Кинстлер, если раньше клиент был королем лишь номинально, то теперь он стал настоящим тираном. В прошлом сесть в такси или посетить парикмахерскую означало войти в чье-то частное пространство. Теперь же клиенты берут с собой камеру, микрофон и тысячи потенциальных наблюдателей.

Система социального рейтинга

Одноранговые системы наблюдения обычно агрегируют баллы для выведения общей оценки. Эта «оценочная логика» возведена в абсолют в системе социального рейтинга, где баллы людям начисляются за всё и общая персональная оценка влияет тоже на всё. В последний раз люди придумывали столь грандиозную систему 5000 лет назад, когда были изобретены деньги. Систему социального рейтинга можно рассматривать как новый вид денег.

Деньги – это баллы, которые люди получают за товары и услуги, а затем используют для покупки других товаров и услуг. Сами по себе баллы ничего не стоят (люди не могут питаться деньгами или одеваться в них), но служат показателем человеческих достижений.

Однако денежная система не всеохватна: даже в развитых капиталистических странах всегда оставались уголки, куда не проникали деньги, и всегда существовало много того, что нельзя оценить в деньгах. Сколько стоит улыбка? Сколько заработает человек, навестив свою бабушку?

Для оценки того, чего не купишь за деньги, существует альтернативная, неденежная система, которую называют честью, статусом или репутацией. Система социального рейтинга призвана стандартизировать оценки на рынке репутации. В этой системе свою цену имеют даже улыбки и семейные визиты. Но что произойдет, если распространить принципы денежного рынка на рынок репутации?

Одно из главных различий между деньгами и репутацией заключается в том, что деньги представляют собой строгий математический конструкт, тогда как репутация не поддается точной численной оценке. Торговцы и покупатели на средневековом рынке обычно знали точную цену товаров, но рыцари на средневековом рынке репутации не знали точного количества чести, которую принесут те или иные действия. Эта неопределенность была не ошибкой в системе, а важной особенностью. Считалось, что благородные поступки совершаются из внутренней добродетели, а не ради внешнего вознаграждения. «Расчетливость» была синонимом хитрости и коварства. И эта разница между рынком денег и рынком репутации все еще существует.

Некоторые рассматривают системы социального рейтинга как способ поощрения просоциального поведения, наказания за эгоизм и создания более добрых и гармоничных обществ. Китайское правительство утверждает, что его система социального рейтинга помогает бороться с коррупцией, мошенничеством, недобросовестной рекламой и тем самым укрепляет доверие между людьми, корпорациями и государством. Другие считают подобные системы унизительными и бесчеловечными, уничтожающими приватность и превращающими жизнь в бесконечное собеседование. Система социального рейтинга может превратиться в систему тоталитарного контроля.

Конечно, рынок репутации всегда заставлял людей соответствовать социальным нормам. В большинстве культур люди боятся потерять лицо больше, чем лишиться денег. Однако в силу своей субъективности рынок репутации не мог быть инструментом тоталитарного контроля. Теперь же алгоритмы социального рейтингования в сочетании с технологиями повсеместной слежки угрожают объединить все соревнования за статус в одну бесконечную гонку. Новый рынок репутации может уничтожить конфиденциальность и контролировать людей гораздо жестче, чем рынок денег.

Всегда активны

Люди – органические существа, подчиняющиеся биологическим циклам. После активной деятельности им нужен отдых. Человеческие сети тоже подчиняются этим циклам, их соблюдает даже финансовый рынок. Нью-Йоркская фондовая биржа открыта по будням с 9:30 до 16:00 и закрыта в праздничные дни. Если в 16:01 в пятницу начнется война, рынок не отреагирует на нее до утра понедельника.

Но компьютерная сеть может оставаться включенной постоянно. А значит, компьютеры подталкивают человечество к новому образу жизни, когда люди всегда активны и за ними всегда следят. В некоторых сферах, например в здравоохранении, это может оказаться благом. Но в тоталитарном государстве это обернется катастрофой.

Перерывы крайне важны для отдыха и для исправления ошибок в работе сети. Чем быстрее развивается сеть, тем быстрее накапливаются ошибки и тем труднее людям выявлять их и исправлять. Да, ошибаться способна даже неустанная и вездесущая сеть. Система тотальной слежки может сформировать весьма искаженное представление о мире и людях. Вместо того чтобы узнавать правду о мире и о людях, сеть может создать новый мировой порядок и навязать его человечеству.

Глава 8

Возможны огрехи: сеть часто ошибается

В своей книге «Архипелаг ГУЛАГ» Александр Солженицын документирует историю советских трудовых лагерей и информационной сети, которая их создавала и поддерживала. Многие его идеи по-прежнему актуальны для понимания развития информационных сетей в XXI веке.

Режим создал могущественную информационную сеть, которая отдавала предпочтение порядку, а не истине, и сформировала новый тип человека, лишенного инициативы и независимого мышления.

Диктатура лайков

Нечто подобное может произойти в компьютерной сети XXI века. Конечно, алгоритмы соцсетей не прибегают к прямому принуждению или насилию, но создают интернет-троллей, поощряя низменные инстинкты.

Когда перед алгоритмами поставили задачу повысить вовлеченность пользователей, результатом стала радикализация людей. Сначала алгоритмы подсовывали пользователям провокационные и лживые видео, а затем уже видеоблогеры заметили, что алгоритмы продвигают провокационные ролики, и стали намеренно создавать такой контент, подчиняясь «диктатуре лайков». Так алгоритмы превратили множество пользователей в троллей, что повлекло серьезные социальные и политические последствия, включая подъем ультраправых движений. В качестве примера автор приводит историю прихода к власти в Бразилии Жаира Болсонару и его соратников из числа видеоблогеров.

Конечно, алгоритмы сами по себе не виноваты в распространении теорий заговора и создании экстремистского контента. По крайней мере, еще несколько лет назад всем этим занимались люди. Однако именно алгоритмы поощряли людей к подобным действиям. Многие ультраправые активисты, по их признанию, впервые заинтересовались экстремистской повесткой после просмотра видеороликов, которые автоматически воспроизводил для них алгоритм.

Во всем виноваты люди?

Сегодня на ход истории начинают влиять решения нечеловеческого интеллекта. А когда компьютеры становятся самостоятельными творцами истории, их ошибки могут привести к настоящей катастрофе. Это один из главных тезисов книги.

Руководители цифровых платформ перекладывают вину с алгоритмов на «человеческую природу», которая, по их словам, и порождает ненависть и ложь. Они заявляют, что не хотят цензурировать проявления человеческих эмоций, ссылаясь на свободу слова, но при этом игнорируют активную роль алгоритмов в поощрении одних эмоций и сдерживании других. Неужели они настолько слепы? Автор считает, что нет. Внутренние отчеты компаний говорят о том, что менеджеры соцсетей осведомлены о проблеме и даже каким-то образом пытаются ее решить.