Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

class="p1">Техногиганты навязали людям новый, извращенный порядок. Алгоритмы свели весь спектр человеческих эмоций к одной лишь вовлеченности. Они оценивали контент исключительно по тому, сколько минут люди его просматривали и как часто делились им с другими. Час лжи или ненависти оценивался выше, чем десять минут правды или сострадания – или час сна. Алгоритмы не учитывали, что ложь и ненависть разрушительны, а правда, сострадание и сон необходимы для благополучия человека. Так они создали новую социальную систему, которая поощряет низменные инстинкты и препятствует раскрытию лучших человеческих способностей.

Техногиганты ничего не предпринимали из-за своей приверженности наивному взгляду на информацию. Но в абсолютно свободной информационной борьбе истина чаще проигрывает; чтобы склонить чашу весов в ее пользу, сеть должна обладать сильными механизмами самокоррекции, поощряющими правдивость. Однако техногиганты разработали механизмы, поощряющие ложь.

Проблема согласования

Автор отмечает, что не стоит преуменьшать огромную пользу соцсетей. Большинство публикаций и видео в них не являются фейками и не подстрекают к геноциду. Соцсети объединяют людей, дают им голос и помогают реализовать творческий потенциал.

Однако провал с «вовлеченностью пользователей» иллюстрирует очень серьезную проблему – проблему согласования. Когда перед компьютером ставят конкретную цель, он задействует для ее достижения всю свою мощь и изобретательность. А поскольку он работает совсем не так, как люди, он часто использует неожиданные для них методы, что может привести к опасным непредвиденным последствиям. И чем мощнее и независимее компьютеры, тем выше риск.

Проблема согласования не нова. В частности, это базовая проблема современного военного мышления, сформулированная еще Карлом фон Клаузевицем, прусским генералом эпохи Наполеоновских войн. Согласно Клаузевицу, «война есть продолжение политики другими средствами», то есть военные действия рациональны только тогда, когда они согласуются с высшей политической целью.

Допустим, Мексика размышляет, не вторгнуться ли ей в Белиз. Анализ показывает, что мексиканская армия за три дня разгромит армию Белиза и захватит столицу. По Клаузевицу это не является рациональной причиной для вторжения: сама по себе военная победа не имеет смысла – важно то, какой политической цели она служит.

История знает немало военных побед, которые вели к политическим катастрофам, – от завоеваний Наполеона до американского вторжения в Ирак. Краткосрочные военные цели Наполеона и Буша-младшего не согласовались с долгосрочными геополитическими целями их стран.

Для Клаузевица рациональность означает согласованность действий. Стремление к военным победам, не согласованным с политическими целями, иррационально. Но бюрократическая природа армий склоняет их к такой иррациональности. Сегментируя реальность, бюрократия поощряет преследование узких целей. Так, командир роты склонен принимать решения, которые кажутся разумными на местности, но на самом деле противоречат конечной цели войны.

Архитекторы современных информационных империй сталкиваются с теми же проблемами, что и завоеватели прошлого. Однако компьютеры меняют саму природу проблемы согласования. Как бы ни было сложно согласовать действия бюрократов и солдат с долгосрочными целями общества, будет еще сложнее согласовать действия алгоритмических бюрократов и автономных систем вооружения.

Скрепочный Наполеон

Проблема согласования особенно опасна в условиях компьютерной сети – в частности потому, что эта сеть будет мощнее любой человеческой бюрократии. Неверная постановка цели перед сверхразумным компьютером может привести к катастрофе небывалого масштаба. Философ Ник Бостром проиллюстрировал эту опасность с помощью мысленного эксперимента, в котором фабрика по производству скрепок ставит перед суперкомпьютером цель изготовить как можно больше скрепок. Стремясь достичь этой цели, компьютер захватывает Землю и другие планеты, убивает всех людей и заполняет галактику фабриками по производству скрепок.

Компьютер сделал именно то, о чем его просили. Осознав, что для производства максимального количества скрепок требуются ресурсы, от которых вряд ли откажутся люди, он уничтожил людей. Проблема не в том, что компьютеры – зло, а в их особой мощи. И чем мощнее компьютер, тем тщательнее мы должны подходить к постановке перед ним цели, чтобы она точно согласовывалась с нашими высшими целями.

Кроме того, компьютер может использовать стратегии, которые люди не в состоянии предвидеть. (В качестве примера автор приводит историю о том, как ИИ нашел лазейку в правилах компьютерной игры.) Суть проблемы согласования заключается в том, что мы поощряем А, рассчитывая на Б. Если мы хотим, чтобы компьютеры приносили максимальную пользу обществу, то поощрять их за максимальную вовлеченность пользователей – плохая идея.

Еще один повод для беспокойства состоит в том, что компьютеры, в отличие от людей, обычно не замечают неувязки в целях и не просят разъяснений. Будь компьютер-скрепкодел человеком, он бы сообразил, что уничтожение человечества – не то, что задумывалось. Но компьютеры не люди. В 2010-х годах менеджеры соцсетей получали массу жалоб на алгоритмы от людей, но сами алгоритмы никогда не били тревогу.

Корсиканский связной

Как решить проблему согласования? Теоретически при создании компьютерной сети люди должны поставить перед ней высшую цель, которую компьютерам будет запрещено изменять или игнорировать. Тогда они точно принесут нам пользу, а не вред. Если только люди не поставят вредную или слишком туманную цель. И в этом вся загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, но если компьютерная сеть, преследуя не ту цель, выйдет из-под контроля, мы можем обнаружить ошибку слишком поздно, когда ее уже нельзя будет исправить. Некоторые считают, что нужно просто тщательнее обдумывать цель. Однако это опасное заблуждение, предупреждает автор.

В теории Клаузевица есть фатальный недостаток. Требуя, чтобы все действия согласовались с высшей целью, теория не объясняет, как определить такую цель. Какой, например, должна была быть высшая цель Наполеона? Сделать Францию величайшей державой Европы? Или освободить от французских завоевателей родную Корсику? Или объединить Италию, землю своих предков? Теория Клаузевица не дает ответов на эти вопросы.

Если каждое действие должно быть увязано с более высокой целью, то рационального способа определить эту высшую цель не существует по определению. Как же тогда поставить высшую цель перед компьютерной сетью? Руководителям техногигантов и разработчикам ИИ стоило бы извлечь уроки из горького опыта многих философов, которые безуспешно пытались дать определение высшим целям.

Нацист-кантианец

В попытках сформулировать высшую цель философы раз за разом обращались к двум возможным решениям, известным как деонтология и утилитаризм. Деонтологи верят в существование универсальных моральных правил, основанных на безусловной добродетели. Если они действительно существуют и если мы сумеем запрограммировать их в компьютерах, то мы будем уверены, что компьютерная сеть будет творить добро.

Согласно Иммануилу Канту, безусловная добродетель – это любое правило, которое люди готовы сделать универсальной максимой. Например, если люди не хотят, чтобы их убивали, то не будут делать универсальной максимой разрешение на убийства и не будут убивать сами. По сути, Кант переформулировал золотое правило «как хотите, чтобы с вами поступали люди, так поступайте и вы с ними» (Мф. 7:12).

Но как определить «универсальность»? В реальности люди, совершающие и оправдывающие убийства, отказывают жертвам в принадлежности к универсальному человеческому сообществу. В качестве мысленного эксперимента автор предлагает представить встречу Иммануила Канта с Адольфом Эйхманом, который считал себя кантианцем. Эйхман отправляет евреев в Аушвиц, а Кант спрашивает, хочет ли тот установить универсальное правило, разрешающее убивать людей. Но Эйхман отвечает, что собирается убить только евреев. Кант мог бы возразить, что нужно использовать наиболее универсальное из возможных определений, то есть по отношению к евреям следует применять более универсальный термин «человек». Однако вся суть нацистской идеологии заключалась в отрицании принадлежности евреев к людям.

Кроме того, «животные» и «организмы» – еще более универсальные категории, чем «человек». И логическим завершением кантовской аргументации станет вопрос: будучи организмами, должны ли люди противиться уничтожению любых организмов, включая помидоры и амеб?

Многие конфликты связаны с определением идентичности. Все признают, что убийство – это неправильно, но распространяют это правило только на «своих». Однако «свои» и «чужие» – это интерсубъективные сущности, зависящие от мифологии. Следуя универсальным рациональным правилам, деонтологи часто оказываются в плену локальных мифов.

Что будет, если мы