Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

попытаемся задать универсальные деонтологические правила для компьютеров? Компьютеры даже не организмы. Если поручить им следовать правилу «поступай с другими так, как ты хочешь, чтобы поступали с тобой», они не будут возражать против универсальной максимы, разрешающей убивать организмы. К тому же сами компьютеры могут вообще не бояться смерти.

Есть ли способ определить, о ком должны заботиться компьютеры, и не увязнуть при этом в каком-нибудь интерсубъективном мифе? Очевидный вариант – указать им, что они должны заботиться о каждом существе, способном страдать. Беспилотный автомобиль не должен убивать людей, собак, кошек и разумных роботов, которые могут появиться в будущем. Можно даже предписать ему заботиться о разных существах пропорционально их способности страдать. Но это уже идея утилитаристов.

Подсчет страданий

Если деонтологи ищут универсальные правила, то утилитаристы оценивают действия по их влиянию на страдание и счастье. Английский философ Иеремия Бентам видел единственную рациональную высшую цель в минимизации страданий в мире и максимизации счастья. Следуя этому принципу, нужно поставить перед компьютерной сетью цель минимизировать страдания и максимизировать счастье.

Но реализовать этот принцип на практике крайне сложно, ведь у людей нет точного метода подсчета страданий. В сложных исторических обстоятельствах трудно подсчитать, увеличивает или уменьшает сумму страданий в мире то или иное действие.

Утилитаризм хорош, когда чаша весов явно склоняется в одну сторону. Утилитаристам не нужно вступать с Эйхманом в сложную дискуссию об идентичности. Им достаточно указать ему на то, что холокост причинил огромные страдания евреям, не принеся сопоставимых выгод никому другому, включая немцев. Утилитаристские аргументы против холокоста неопровержимы.

Но когда масштабы страданий с разных сторон сопоставимы, утилитаризм дает сбой. Например, жесткая политика карантина в первые дни пандемии COVID-19 спасла миллионы жизней, но при этом надолго сделала несчастными сотни миллионов людей и косвенно повлекла смерти от других причин. Возможно ли подсчитать совокупный эффект политики карантина и определить, выросла или уменьшилась общая сумма страданий в мире? Это может показаться идеальной задачей для мощной компьютерной сети, но как она будет решать, сколько баллов начислить за то, что вы целый месяц были заперты с тремя детьми в двухкомнатной квартире?

Не имея методов подсчета страданий, утилитаристы заимствуют идеи деонтологов и следуют общим правилам вроде «избегать агрессивных войн» или «защищать права человека», а когда эти правила вступают в противоречие (как в случае агрессивной войны ради защиты прав людей), утилитаризм помогает мало. Даже самая мощная компьютерная сеть не способна подсчитать все страдания.

Хотя утилитаризм обещает рациональный способ согласовать каждое действие с «высшим благом», на практике он порождает новые мифологии. Верующие в коммунизм полагали, что счастье будущих поколений окупит все страдания узников ГУЛАГа. Либертарианцы, отвечая на вопрос о вреде неограниченной свободы слова или отмены налогов, утверждают, что будущие выгоды перевесят краткосрочный ущерб. Тем, кто верит в грядущую утопию, утилитаризм дает зеленый свет для причинения страданий в настоящем – и в этом его опасность.

Компьютерная мифология

Как же ставили перед собой высшие цели бюрократические системы? Они полагались на мифологию. Какими бы рациональными ни были чиновники и инженеры, в конечном счете они служили тому или иному мифотворцу. Даже физикам-ядерщикам приходилось выполнять приказы шиитских аятолл и коммунистических лидеров.

По сути, проблема согласования – это проблема мифологии. Нацисты могли быть убежденными деонтологами или утилитаристами, но, веря в миф о еврейском заговоре, и деонтолог, и утилитарист найдет множество аргументов для оправдания холокоста.

Аналогичная проблема может возникнуть и с компьютерами. Конечно, они не могут «верить» в мифы, поскольку не обладают сознанием. Но когда множество компьютеров взаимодействуют между собой, они могут создавать межкомпьютерные сущности, способные со временем стать такими же могущественными и опасными, как интерсубъективные мифы людей. Этот тезис автор называет одним из ключевых и останавливается на нем подробнее.

Что такое межкомпьютерная сущность? В качестве первого примера автор приводит покемонов из игры Pokémon Go: они не хранятся в виде битов в каком-то одном смартфоне, а создаются при взаимодействии нескольких компьютеров. Это межкомпьютерные сущности, способные взаимодействовать с физическим миром и влиять на него.

Другой пример – рейтинг сайтов в поисковике. Алгоритм определяет рейтинг путем оценки сайтов по различным параметрам, таким как посещаемость. Рейтинг – межкомпьютерная сущность, которая существует в интернете, но влияет и на физический мир. Для многих компаний принципиально важно, чтобы ссылка на их сайт отображалась на первой странице поисковой выдачи. Люди даже пытаются манипулировать алгоритмом: например, привлекают ботов для увеличения трафика.

Межкомпьютерные сущности, такие как рейтинг, аналогичны интерсубъективным сущностям, таким как сакральность, которую люди приписывают храмам и городам. Сакральность Иерусалима и Краеугольного камня – интерсубъективный феномен, и войны из-за подобных сущностей велись тысячелетиями. В XXI веке войны могут вспыхнуть из-за межкомпьютерных сущностей.

Автор рассуждает и о возможных новшествах в финансовой сфере. В будущем компьютеры могут создать межкомпьютерные финансовые инструменты. Если традиционные валюты представляют собой интерсубъективные сущности, то криптовалюты находятся на полпути между интерсубъективными и межкомпьютерными сущностями. Их придумали люди, но они не существуют вне компьютерной сети. Что, если компьютеры создадут финансовый инструмент, который станет потенциальным источником кризиса? Кризис 2007–2008 годов был спровоцирован финансовыми инструментами, придуманными горсткой экспертов и непонятными большинству людей. Если компьютеры создадут финансовые инструменты, понятные только компьютерам, это может привести к куда более серьезным последствиям.

Мы, люди, десятки тысяч лет доминировали на Земле, поскольку только мы могли создавать интерсубъективные сущности и использовать их для организации масштабного сотрудничества. Теперь сопоставимые возможности могут обрести компьютеры.

Возможно, это не так уж плохо. Если бы компьютеры не обладали креативностью, они были бы не так полезны. Главная проблема – направить их творческие способности в нужное русло. Интерсубъективные сущности легли в основу всех достижений человеческой цивилизации, но также приводили к Крестовым походам и охоте на ведьм. Межкомпьютерные сущности могут стать основой будущих цивилизаций, но тот факт, что компьютеры собирают эмпирические данные и анализируют их математическими методами, не означает, что они не начнут свою охоту на ведьм.

Новые ведьмы

В Европе раннего Нового времени информационная сеть проанализировала данные о преступлениях, болезнях и катастрофах и заключила, что во всем виноваты ведьмы. Чем больше данных собирали охотники на ведьм, тем больше убеждались в существовании заговора. Но ведьмы были интерсубъективной категорией, придуманной самой сетью и спроецированной на невиновных людей.

С XVI по XX век колониальные бюрократические структуры создавали расистскую мифологию и придумывали интерсубъективные расовые категории, которые влияли на жизнь людей, ограничивая их права. К XIX веку расизм претендовал на звание точной науки: его сторонники утверждали, что полагаются на научные методы, такие как измерение черепов и анализ криминальной статистики. Но облако цифр и категорий было лишь дымовой завесой для абсурдных интерсубъективных мифов.

Компьютеры, все чаще заменяющие людей в бюрократических процессах, тоже способны создавать мифы и навязывать их людям. Но если в мире бумажных документов люди могли спастись от системы (например, подделав документы), то в мире, где компьютеры идентифицируют человека по сетчатке глаза и ДНК, переиграть систему почти невозможно. Компьютеры с пугающей эффективностью навешивают на людей ложные ярлыки и обеспечивают их сохранность.

Например, системы социального рейтинга могут создать новый низший класс людей. Такая система будет претендовать на установление истины эмпирическими и математическими методами, но как именно она будет определять просоциальное и антиобщественное поведение? Не начнет ли система понижать рейтинг за критику властей или за чтение иностранной литературы?

В разных религиях подразумевалось, что некое всевидящее око начисляет или снимает условные баллы за все, что делает человек. На практике же греховность и святость были интерсубъективными феноменами, зависящими от общественного мнения. Что, если, например, иранский режим решит использовать компьютерную систему наблюдения не только для контроля за ношением хиджаба, но и для превращения греховности и святости в межкомпьютерные феномены? Вы не надели хиджаб – минус 10 баллов, совершили паломничество в Мекку – плюс 500 баллов. Суммировав баллы, система поделит людей на «грешников», «верующих» и «святых». То, в какой категории окажется человек, будет зависеть от алгоритмических вычислений, а не от общественного мнения.