Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

Никто не знает, почему так происходит. Возможно, растущие темпы перемен сделали умеренно консервативную программу нереалистичной. Если сохранить существующие традиции и институты невозможно, а революция кажется неизбежной, то единственный способ помешать революции левого толка – спровоцировать революцию правого толка. Именно такая политическая логика в 1920–1930-х годах заставила консервативные силы поддержать фашистские революции в Италии, Германии, Испании и других странах. Но самоубийство консерваторов может быть и результатом беспочвенной истерии. В 1930-е годы не было причин разочаровываться в демократии, как нет причин для этого и сейчас, считает автор. От кризиса и безработицы в 1930-е годы страдала не только Веймарская республика, но и США, однако к власти в США не пришел жестокий тиран. Напротив, Франклин Рузвельт ввел «Новый курс» и укрепил американскую демократию. Политика никогда не была следствием одних только экономических факторов. Веймарская республика рухнула во многом потому, что это была новая демократия, рожденная в условиях поражения и не имеющая сильных институтов и поддержки.

Когда и консерваторы, и прогрессисты сопротивляются соблазну революции и чтят демократические традиции и институты, демократии проявляют значительную гибкость. Механизмы самокоррекции позволяют им справляться с технологическими и экономическими волнами лучше, чем это удается жестким режимам.

Компьютеры еще далеко не полностью раскрыли свой потенциал, и то же можно сказать о людях. Одна из главных трансформаций на рынке труда XX века произошла не благодаря технологиям, а в результате раскрытия неиспользованного потенциала половины человечества. Не требовалось никаких чудес техники, чтобы привлечь на рынок труда женщин, – достаточно было просто отказаться от устаревших мифов.

В ближайшие десятилетия экономика претерпит серьезные потрясения, и гибкость демократий, их сильные механизмы самокоррекции и готовность пересматривать старые мифы будут важнейшими активами. Было бы глупо отказываться от них именно тогда, когда они нужны больше всего, считает автор.

Недоступные пониманию

Но чтобы механизмы самокоррекции помогли что-то исправить, нужно понимать, что именно требует исправления. Если законодатели, журналисты, судьи и прочие граждане не в силах понять, как работает бюрократическая система, они не могут контролировать ее и теряют доверие к ней.

До компьютерного века бюрократия не могла стать абсолютно непостижимой, потому что правила и протоколы создавались людьми. Чиновники бывают жестокими и жадными, но жестокость и жадность – человеческие качества, которые можно предвидеть и которыми можно манипулировать. «Бесчеловечность» бюрократии – это на самом деле отражение человеческих недостатков.

Человеческая природа бюрократии оставляла надежду на выявление и исправление ее ошибок. В качестве примера автор приводит историю о том, как в 1951 году из-за расистских предрассудков чернокожую девочку не приняли в школу «для белых». Ее отец подал иск, который в итоге дошел до Верховного суда США. В 1954 году суд постановил, что разделение школ по расовому признаку противоречит Конституции.

Но что произойдет, если в будущем какой-нибудь алгоритм социального рейтинга откажет ребенку с низким рейтингом в приеме в школу с высоким рейтингом? Компьютеры не лишены предвзятости и создают свои мифы и фиктивные категории. Как выявлять и исправлять такие ошибки?

Это уже не умозрительные вопросы. Автор приводит историю Эрика Лумиса, которого приговорили к шести годам тюрьмы за относительно мелкие правонарушения. При вынесении приговора судья использовал алгоритм COMPAS, разработанный для оценки риска рецидивов. Ни судья, ни Лумис не понимали, как работает этот алгоритм, а компания-разработчик отказалась дать разъяснения, сославшись на коммерческую тайну. Впоследствии выяснилось, что COMPAS мог почерпнуть предвзятость из массива данных, на котором он обучался. Однако в 2016 году апелляция Лумиса была отклонена.

С тех пор появились гораздо более сложные алгоритмы, и сегодня граждане многих стран получают тюремные сроки отчасти на основании их рекомендаций. При этом ни судьи, ни обвиняемые не понимают, как работают эти алгоритмы. И тюремные сроки – это только вершина айсберга.

Право на объяснение

По мере того как все больше решений в отношении людей принимают компьютеры, демократические механизмы самокоррекции разрушаются, а с ними исчезают прозрачность и подотчетность. Растет потребность в закреплении нового права человека – права на объяснение. Общий регламент по защите данных, вступивший в силу в Евросоюзе в 2018 году, гласит, что если алгоритм принимает решение в отношении человека, то человек вправе получить объяснение и оспорить решение в органах власти с участием людей. В идеале это должно нивелировать предвзятость алгоритмов и помочь механизмам самокоррекции выявлять и исправлять ошибки компьютеров.

Но возможно ли реализовать это право на практике? Даже эксперты в области ИИ признаются, что часто уже не могут объяснить, как алгоритмы принимают решения. Автор приводит мнение Мустафы Сулеймана – основателя компании DeepMind, разработавшей программу AlphaGo: «Многие технологии и системы становятся настолько сложными, что ни один человек не в состоянии их понять… Разработчики не могут заглянуть под капот и объяснить в деталях, что привело к тому или иному результату. GPT-4, AlphaGo и тому подобное – это черные ящики, их выводы и решения основаны на непрозрачных и невероятно сложных цепочках мельчайших сигналов». Играя в го против чемпиона мира Ли Седоля, AlphaGo сделала странный и на первый взгляд ошибочный ход, который в итоге привел ее к победе. Но даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы этого сделать.

Когда все больше важных решений принимается в «черном ящике», а люди не могут понять их и оспорить, демократия перестает функционировать. Растущая непостижимость информационной сети стала одной из причин подъема популизма и харизматичных лидеров. Будучи не в силах разобраться в потоках информации, люди верят в теории заговора и обращаются за спасением к тому, кого понимают: к человеку. Но ни один человек не может в одиночку выяснить, как работают современные алгоритмы и справедливы ли их решения, ведь алгоритмы обрабатывают огромные массивы данных. Люди, сталкиваясь с проблемой, склонны искать для выбора решения какой-то один аргумент и игнорировать все прочие. Когда кто-то приводит сразу множество аргументов, это вызывает подозрения. Если друг не пришел на вашу свадьбу и объяснил это тем, что навещал маму в больнице, вы ему верите. Но если он перечислит сразу пятьдесят причин, возникнут сомнения в его честности.

Люди не составляют в уме список факторов, не придают каждому из них определенный вес, не суммируют их и не делают вывод на основании расчетов. Но именно так действуют алгоритмы. Автор рассматривает гипотетический пример, когда банковский алгоритм отказывает в выдаче кредита на основании тысячи показателей, включая модель смартфона, с которого делалась заявка, и уровень заряда его батареи.

Такой способ принятия решений обладает потенциальными преимуществами, ведь всегда полезно учитывать все релевантные факторы. Конечно, возникает вопрос: кто решает, считать ли релевантными факторами модель смартфона или цвет кожи? Но как бы люди ни определяли релевантность, способность учитывать большее количество данных будет скорее преимуществом. Человеческая предвзятость во многом проистекает из того, что люди фокусируются только на одном-двух факторах. Именно поэтому банки и другие институты все чаще полагаются на алгоритмы.

Но все усложняется, когда дело доходит до объяснений. Как человеку проанализировать и оценить решение, принятое на основе огромного количества данных? Для этого нужно не только держать их в голове, но и понимать, каким образом алгоритм выявил закономерности и ранжировал факторы. Автор не верит в способность отдельного человека справиться с такой задачей, но возлагает надежду на группы экспертов, которые, вооружившись собственными инструментами ИИ, смогут оценить справедливость решений алгоритмов даже более надежно, чем кто-либо мог бы оценить справедливость человеческих решений. Ведь на человеческие решения многие факторы влияют на подсознательном уровне, и их почти невозможно выявить. Судья может вынести суровый приговор не только на основании справедливых доводов, но и потому, что он голоден.

В случае с судьями из плоти и крови проблему пока решить невозможно. А когда решение принимает алгоритм, эксперты теоретически могут изучить все учтенные им факторы и их веса. Именно так уже был проверен на предвзятость алгоритм COMPAS. К проверке алгоритмов можно подключить не только людей, но и компьютеры. Вполне можно поручить одному алгоритму проверять другой. А чтобы обеспечить надежность проверяющего алгоритма, придется поддерживать бюрократические институты, которые будут проводить аудит алгоритмов. Без таких институтов не будут выполняться законы, дающие людям право на объяснение.

«Нырок»

По мере того как компьютеры