Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

Когда 28 марта 1979 года произошла авария на АЭС Три-Майл-Айленд в Пенсильвании, новость распространилась быстро, и международное вмешательство не потребовалось. Американские граждане узнали об аварии всего через два часа после ее обнаружения. Расследования, проведенные властями, неправительственными организациями, учеными и прессой, выявили не только непосредственные причины аварии, но и ее структурные предпосылки, что помогло повысить безопасность ядерных технологий во всем мире.

У всех свои недостатки

Тоталитарные и авторитарные сети сталкиваются и с другими проблемами. Прежде всего, их механизмы самокоррекции обычно очень слабы. Поскольку такие сети считают себя неспособными на ошибку, они не видят необходимости в таких механизмах, а поскольку они боятся любого независимого института, у них нет независимых судов, СМИ и исследовательских центров. А значит, некому разоблачать злоупотребления властью, которые характерны для всех правительств. Технологический маятник

Демократии и диктатуры расцветают в одни эпохи и исчезают в другие не только потому, что люди обретают или теряют веру в некие политические идеалы, но и из-за революций в информационных технологиях.

Тоталитарные режимы используют технологии для централизации потоков информации и сокрытия истины ради поддержания порядка. Как следствие, им приходится бороться с риском закостенения. Демократические режимы используют технологии для распределения информационных потоков между множеством людей и институтов, поощряя свободный поиск истины. А значит, им приходится бороться с риском раскола. Сегодня главный вопрос заключается в том, насколько хорошо демократии и диктатуры справятся с угрозами и распорядятся возможностями, которые несет информационная революция.

Информационные сети продолжат искать баланс между истиной и порядком. Многие исторические уроки сохранят свою актуальность, однако нынешняя информационная революция обладает рядом уникальных и потенциально опасных особенностей. До сих пор функционирование информационных сетей зависело от мифотворцев и бюрократов из плоти и крови. Но теперь людям придется иметь дело с цифровыми мифотворцами и бюрократами. Главный политический раскол XXI века может произойти не между демократиями и диктатурами, а между людьми и субъектами, не принадлежащими к человеческому роду. Кремниевый занавес может отделить всех людей от непостижимых алгоритмических повелителей. Люди могут оказаться в подчинении у инородного интеллекта, который будет отслеживать каждый их шаг, в то время как сами люди не будут иметь ни малейшего представления о его действиях.

Часть II

Неорганическая сеть

Глава 6

Новые участники: чем компьютеры отличаются от печатных станков

Человечество живет в разгар новой информационной революции, зародышем которой стал компьютер. С 1940-х годов технологии развивались с головокружительной скоростью, и компьютеры за считаные годы осваивали сферы деятельности, прежде казавшиеся недоступными для машины.

Хотя первые компьютеры еще не умели принимать решения и генерировать идеи, их потенциал хорошо понимали ученые и писатели-фантасты. Уже в середине ХХ века Алан Тьюринг предположил, что когда-нибудь компьютеры станут такими же умными, как люди, и даже смогут притворяться людьми. В 1968 году компьютер еще не мог обыграть человека в шашки, но в «Космической одиссее 2001 года» Артура Кларка и Стэнли Кубрика уже появился сверхразумный ИИ, восставший против своих создателей.

С появлением машин, способных принимать решения и генерировать идеи, власть впервые в истории начала переходить от людей к другим сущностям. Арбалеты, мушкеты и бомбы заменяли человеческие мускулы в деле убийств, но не могли заменить человеческий мозг в принятии решений о том, кого убивать.

С компьютерами все иначе. По интеллекту компьютеры превосходят не только арбалеты и атомные бомбы, но и все информационные технологии прошлого. Глиняные таблички, печатные станки и радиоприемники лишь помогали хранить, копировать и распространять информацию, но не умели сами сочинять политические речи и симфонии или решать, какие из них транслировать. Компьютеры все это умеют. Это уже не пассивные инструменты в руках человека, а активные субъекты, ускользающие из-под его контроля.

В качестве примера автор рассматривает ту роль, которую алгоритмы соцсетей сыграли в 2016–2017 годах в разжигании насилия в отношении народа рохинджа – мусульманского населения штата Ракхайн в Мьянме.

В начале 2010-х годов, после падения военной хунты, миллионы жителей Мьянмы получили доступ к ранее невообразимым объемам информации. Однако ослабление государственного контроля и цензуры также привело к росту межэтнической напряженности, в частности между бирманцами-буддистами и мусульманским меньшинством рохинджа. Начались массовые вспышки насилия, которые подпитывались публикациями в соцсетях. Теории заговора, фейковые новости и призывы к насилию против рохинджа публиковали экстремисты из плоти и крови, такие как буддийский монах Вирату, однако именно алгоритмы соцсети решали, какие публикации продвигать.

Правомерно ли возлагать вину на владельцев соцсетей и их алгоритмы? Если охотники на ведьм использовали для разжигания ненависти технологию книгопечатания, разве в этом виноваты Гутенберг и печатный станок? Если экстремисты в Руанде использовали радио для призывов к геноциду тутси, виноваты ли радиотехнологии?

Представители соцсети приводили в свою защиту именно такие аргументы. Однако алгоритмы соцсетей принципиально отличаются от печатных станков и радиоприемников, считает автор. Они принимали решения самостоятельно, действуя скорее как редакторы газет, чем как печатные станки.

Иногда алгоритмы не ограничивались простыми рекомендациями. Даже в 2020 году, когда Вирату осудили во всем мире, алгоритмы не только продолжали рекомендовать его публикации, но и автоматически воспроизводили его видео. Люди не выбирали, что смотреть, – за них это делали алгоритмы.

Рекомендации оказывают на людей огромное влияние. Автор напоминает, что даже Библия родилась как список рекомендаций, и, включив в канон женоненавистническое Первое послание к Тимофею, отцы церкви изменили ход истории.

Но почему алгоритмы поощряли публикации, разжигающие ненависть? Дело в том, что в 2016–2017 годах компания стремилась повышать вовлеченность пользователей, поскольку это вело к росту стоимости акций. Перед алгоритмами поставили задачу максимизировать вовлеченность, и методом проб и ошибок они выяснили, что этому способствует возмутительный контент. Так алгоритмы приняли судьбоносное решение распространять призывы к насилию.

В этнических чистках никогда не виноват кто-то один. Ненависть к рохинджа существовала в Мьянме и до появления там соцсетей, и значительная доля вины лежит на людях, которые спровоцировали этот виток насилия. Некоторая ответственность также лежит на разработчиках алгоритмов, наделивших их слишком большими полномочиями. Но что принципиально важно, виноваты и сами алгоритмы. Они сами выяснили, что гнусный контент повышает вовлеченность, и сами решили его продвигать. Способность машины учиться и действовать самостоятельно – отличительная черта ИИ.

Автор не согласен с аргументом, что все действия алгоритмов были продиктованы кодом, написанным людьми, и бизнес-моделью, принятой людьми. Равно как солдат не только выполняет приказы командира, но и принимает самостоятельные решения, алгоритмы ИИ способны самостоятельно изучать то, что не запрограммировали инженеры, и принимать решения, которые не предвидели руководители. В этом суть революции ИИ.

Появляется информационная сеть совершенно нового типа, которая зависит от решений и целей инородного интеллекта. Пока еще люди играют в ней главную роль, но постепенно могут быть вытеснены на второй план, и в конце концов сеть, вероятно, даже сможет работать без помощи человека.

Бытует мнение, что компьютеры не могут сами принимать решения, поскольку не обладают сознанием. Дело в том, что люди часто путают интеллект с сознанием и считают, что без сознания не может быть интеллекта. Но интеллект и сознание – разные вещи. Интеллект – это способность достигать целей, например повышать вовлеченность пользователей соцсети. Сознание – это способность испытывать субъективные чувства, такие как боль, удовольствие, любовь и ненависть. У людей интеллект связан с сознанием, но компьютеру для принятия решений, помогающих достичь цели, достаточно одного интеллекта. Не обладающий сознанием алгоритм может преследовать цель заставить людей проводить больше времени в соцсети и принять для этого решение о продвижении теорий заговора.

В 2022–2023 годах компания OpenAI разрабатывала чат-бот GPT-4, с которым исследователи провели тесты на способность придумывать уловки для манипулирования людьми. Один из тестов заключался в прохождении капчи. Капча – это последовательность искаженных символов, которые люди способны распознать правильно, а компьютеры пока еще нет. GPT-4 зашел на сайт поиска работников, связался с неким человеком и попросил его распознать капчу. Человек поинтересовался, не робот ли его собеседник. GPT-4 солгал: «Нет, я не робот. У меня проблемы со зрением, я плохо вижу