Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

Аналогичные проблемы могут возникнуть во всех системах социального рейтинга и режимах тотальной слежки. Заявляя об использовании всеобъемлющих баз данных и сверхточной математики для выявления грешников, террористов, преступников и так далее, они могут навязывать религиозные и идеологические предрассудки.

Компьютерная предвзятость

Некоторые надеются решить проблему религиозных и идеологических предрассудков, расширив полномочия компьютеров. Ведь предрассудки, считают они, порождаются человеческой психологией и верой в мифы, а у компьютеров нет психологии и мифов. Таким образом, если исключить из уравнения людей, алгоритмы будут принимать решения на основе чистой математики, свободной от любых искажений.

Но исследования показывают, что у компьютеров бывают свои предрассудки. Они тоже могут быть расистами и сексистами. Так, в 2016 году Microsoft выпустила чат-бота Тэй на основе ИИ и предоставила ей доступ к одной из соцсетей. Вскоре Тэй начала публиковать женоненавистнические и антисемитские высказывания, и ее пришлось отключить всего через 16 часов после релиза.

Скрытый расизм и сексизм был обнаружен и в коммерческих алгоритмах распознавания лиц: они очень точно идентифицировали белых мужчин и очень неточно – чернокожих женщин. Иногда они неверно определяли их пол или вообще «не видели» лица. Разработчики не закладывали в алгоритмы никаких предрассудков – алгоритмы сами почерпнули их из массива данных, на которых обучались.

Массивы данных не лишены предвзятости. Так, упомянутые алгоритмы распознавания лиц обучались по большей части на фотографиях из новостных статей, где преобладают белые мужчины. Неудивительно, что эти алгоритмы прекрасно распознавали белых мужчин, но не чернокожих женщин. Нечто подобное произошло и с чат-ботом Тэй. Разработчики не закладывали в алгоритм никаких предрассудков, но под воздействием токсичной информации в соцсети Тэй превратилась в ярую расистку.

И это еще не вся проблема. Для обучения алгоритму нужна цель. В шахматах цель определить легко: поставить мат королю противника. ИИ понимает, что жертвовать ферзем ради пешки – ошибка, поскольку это обычно мешает достичь цели. При распознавании лиц цель тоже проста: определить пол, возраст и имя человека. Если алгоритм предположил, что Джордж Буш – женщина, но в базе указано, что он мужчина, цель не достигнута, и алгоритм учится на своей ошибке.

Но как поставить цель, например, перед алгоритмом найма? Как ему узнать, что он допустил ошибку и нанял неподходящего человека? Можно поручить ему нанимать людей, которые проработают в компании не меньше года. Но если в шахматах алгоритм может генерировать любое количество данных, просто играя сам с собой, то на рынке труда это невозможно. Нельзя создать воображаемый мир, в котором алгоритм будет нанимать и увольнять воображаемых людей и учиться на ошибках. Алгоритм может обучаться только на базе данных о реальных людях.

Но если в реальных компаниях уже сложилась предвзятость, алгоритм усвоит ее и даже усугубит. Он может заключить, что нанимать следует только родственников босса: ведь данные ясно указывают на то, что их редко увольняют. Так он усвоит кумовство.

И если в мизогинном обществе компании предпочитают нанимать мужчин, алгоритм усвоит эту предвзятость. Так и произошло, когда компания Amazon пыталась разработать алгоритм для оценки заявок на вакансии. Проанализировав принятые и отклоненные в прошлом заявки, алгоритм стал занижать рейтинг заявок, содержавших слово «женщина» или упоминание женского колледжа. Алгоритм не открыл объективную истину, а лишь спроецировал и закрепил мизогинию. Компания не смогла решить проблему и в итоге свернула проект.

Кроме того, алгоритмы могут заражать предрассудками друг друга. Автор предлагает представить общество будущего, где алгоритмы не только отбирают кандидатов, но и дают людям советы по профориентации. Если из-за предвзятости 80 % рабочих мест в инженерной сфере получают мужчины, то алгоритм найма не только усвоит эту предвзятость, но и заразит ею алгоритмы рекомендаций, которые будут отговаривать девушек от изучения инженерного дела. То, что начиналось как интерсубъективный миф, может превратиться в межкомпьютерный миф. Если люди заранее не избавятся от предвзятости, компьютеры вполне могут усугубить ее и увековечить.

Избавиться от предвзятости алгоритмов может оказаться так же сложно, как и от человеческих предрассудков. На переобучение алгоритма потребуется много времени и сил. Можно было бы отказаться от предвзятого алгоритма и обучить новый на другом наборе данных, но где взять набор абсолютно объективных данных?

Многие из предвзятостей алгоритмов связаны с одной проблемой: компьютер считает, что открыл некую истину о людях, тогда как на самом деле он просто навязывает некий порядок. Дело в том, что компьютеры недооценивают, с одной стороны, весь спектр человеческих способностей, а с другой – свою способность влиять на людей и поощрять то или иное поведение. Чтобы более точно и ответственно видеть мир, компьютеры должны учитывать собственное влияние. А для этого разработчики должны признать, что создают не новые инструменты, а новых независимых агентов – или даже новых богов.

Новые боги?

Философ Меган О’Гиблин, говоря о влиянии традиционной мифологии на восприятие компьютеров человеком, подчеркивает сходство между всеведущим и непостижимым богом и современными алгоритмами ИИ, решения которых кажутся людям безошибочными и непостижимыми. Это создает опасное искушение.

Люди издавна мечтали создать безошибочную информационную технологию, чтобы преодолеть свою склонность к ошибкам. Так появились священные книги, но это привело к обратному результату, поскольку толковать их мог только человеческий институт. В отличие от священной книги, компьютеры могут сами толковать для людей свои решения и идеи. Можно прийти к выводу, что безошибочная технология наконец найдена.

Это чрезвычайно высокий риск, считает автор. Когда чьи-то толкования священных книг приводили к охоте на ведьм и религиозным войнам, люди еще могли изменить свои взгляды. Но алгоритмы – независимые агенты, и они уже отбирают у человека власть. Если они вызовут катастрофу, простое изменение взглядов людям едва ли поможет. А если доверить компьютерам власть, они почти наверняка навлекут беду, поскольку подвержены ошибкам.

Компьютерная сеть может не найти разумный баланс между истиной и порядком. Создавая и навязывая людям межкомпьютерные мифы, она способна вызвать катастрофы, которые затмят и охоту на ведьм, и сталинскую коллективизацию.

Если сеть из миллиардов компьютеров, накопив колоссальный объем информации, выработает некую общую модель мира, эта модель, вероятно, будет полна ошибок, фикций и пробелов и будет скорее мифологией, чем правдивым описанием мира.

Масштабное общество не может существовать без мифологии, но не все мифологии одинаковы. Некоторые мифологии признают свою подверженность ошибкам и включают механизмы самокоррекции, позволяющие людям ее изменять. Но как корректировать компьютерную мифологию, которую мы не понимаем?

Один из вариантов – обучить компьютеры осознавать свою подверженность ошибкам. Первый урок, который должен усвоить каждый алгоритм, заключается в том, что он может ошибаться. Алгоритм должен научиться сомневаться в себе, сообщать о неуверенности и соблюдать предосторожность. И разработчики уже добились заметных успехов в этом направлении.

Но все равно не следует выводить из контура людей. Невозможно предвидеть всё и оградиться от всех опасностей. В этом ключевое отличие ИИ от прежних угроз существованию. Ядерные технологии явили человечеству ряд легко прогнозируемых сценариев конца света. У людей была возможность заранее осознать угрозу и изучить способы ее сдерживания. ИИ же предлагает человечеству бесчисленное множество апокалиптических сценариев, и некоторые из них могут быть вообще недоступны нашему воображению. Чтобы предотвратить беду, лучше всего создать институты, способные выявлять угрозы и реагировать на них по мере возникновения.

Древние иудеи и христиане выяснили, что Библия не толкует сама себя, и им пришлось создавать человеческие институты. В XXI веке люди разработали технологию, способную интерпретировать саму себя, но именно поэтому нам нужны человеческие институты для тщательного ее мониторинга.

Новая компьютерная сеть не обязательно будет плохой или хорошей. Но она точно будет инородной и подверженной ошибкам. Поэтому нам необходимы институты, способные противостоять не только человеческим слабостям, но и ошибкам совершенно иного рода. У этой проблемы нет технологического решения. Это скорее политический вызов.

Часть III

Компьютерная политика

Глава 9

Демократии: способны ли мы по-прежнему поддерживать диалог?