За секунду до: как мозг конструирует будущее, которое становится настоящим - Дэниел Йон

пола. Ученые обнаружили, что некоторые алгоритмы, использующиеся для расчета кредитного рейтинга, склонны давать афро- и латиноамериканцам более низкие значения, чем американцам азиатского происхождения и белым[95]. Другие ученые обнаружили, что большие языковые модели, используемые для генерации предсказательного текста, тоже порой склонны к предрассудкам: например, слово «Muslim» («мусульманин» или «мусульманский») они ассоциируют с жестокими явлениями вроде «терроризм», «рана», «убийство» и «обезглавливание»[96].

Но эти машины ерничают не потому, что их такими создали. Да, разнообразие в отрасли информационных технологий оставляет желать лучшего, но гиганты Кремниевой долины вряд ли специально нанимают женоненавистников и расистов (по крайней мере, не делают этого открыто), чьи взгляды отражаются в исходном коде программ. Вредные предрассудки образуются тогда, когда первоначально беспристрастной обучающейся машине скармливают несбалансированную диету.

Общая черта этих алгоритмов в том, что им загружают огромные массивы данных («тренировочные наборы»), из которых они усваивают определенный набор вероятностных паттернов. После этого машина может генерировать новые прогнозы по поводу образцов, с которыми она ранее не встречалась. Просмотрев тысячи картинок, алгоритм компьютерного зрения может получить представление, какие объекты чаще всего соседствуют на кухне. Изучая банковские выписки тысяч людей, которые вовремя или не вовремя выплачивают очередной взнос по кредитной карте, алгоритм кредитного рейтинга может получить представление, какие черты и свойства человека говорят о том, что он может просрочить платеж. Перечитывая огромные массивы текста и анализируя, какие слова чаще встречаются рядом, большие языковые модели учатся предсказывать, каким будет следующее слово в предложении, написанном человеком.

Эти правила обучения кажутся вполне безобидными. Но даже они могут дать нам предрассудки на выходе, если получат от нас предрассудки на входе. Например, если классификатору изображений дать базу данных, где на подавляющем большинстве картинок на кухне готовят женщины, чисто вероятностный процесс обучения приведет к тому, что алгоритм будет ассоциировать кухни с женщинами — как и с холодильниками или тостерами.

А если программу, рассчитывающую кредитный рейтинг, обучать на финансовых данных, полученных в обществе со значительным расовым неравенством, где афро- и латиноамериканцы чаще испытывают финансовые проблемы, алгоритм может сделать вывод, что раса — полезный предсказательный фактор для определения кредитной надежности. И точно так же он сделает вывод, что проблемы с прошлыми выплатами предсказывают и проблемы с будущими. Наконец, если языковая модель изучит миллиарды интернет-страниц, чтобы разобраться, как устроен английский язык, значит, в том числе она прочтет и тексты, написанные ксенофобами и расистами, где мусульман считают особо опасными, и усвоит ассоциацию между словом «мусульманин» и различными фразами, описывающими насилие.

В современном мире искусственного интеллекта свидетельства того, что алгоритмы умеют усваивать и усиливать человеческие предрассудки, вызывают немалое смятение. Бизнесмены и политики, которые и без того неохотно делегируют решения бездушным алгоритмам, приходят в ужас, узнав, что те могут научиться расизму. Технологическим компаниям совсем не хочется, чтобы языковые модели, на которых работает автозаполнение поисковых строк, повторяли расистские штампы, которых они набрались на форумах крайне правых.

Эти проблемы, безусловно, важны, поскольку щупальца искусственного интеллекта все глубже проникают в самые сокровенные уголки нашей жизни. Но если рассуждать отвлеченно, то, поняв, как предрассудки формируются в «мозгах» машин, мы сможем выяснить, как они проникают в наши умы.

Мы будем возвращаться к этой теме не раз: ваш мозг формирует прогнозы и теории о внешнем мире, используя вероятностные паттерны, с которыми сталкивается. С этой точки зрения ключ ко многим нашим величайшим когнитивным достижениям — в том, что мы можем осмыслять закономерности из прошлого опыта и использовать их для предсказания настоящего — и возможного будущего.

Если эта идея верна, то наш мозг в некоторых важнейших аспектах очень похож на эти алгоритмы. И биологические, и искусственные мозги учатся формировать прогнозы на основе закономерностей и особенностей данных, полученных в прошлом. Ученые, разрабатывающие многие из этих алгоритмов, вдохновляются именно структурой нашего мозга — и именно поэтому алгоритмы часто называют «нейросетями».

Наблюдая за работой искусственного интеллекта, мы видим, как изначально беспристрастный обучающийся алгоритм — ведомый только желанием учиться и прогнозировать — начинает повторять те же человеческие предрассудки, что прячутся в его тренировочном наборе данных. Если наш мозг подобен этим алгоритмам, может быть, то же верно и для нас?

Типичный анализ человеческих предрассудков обычно вращается вокруг динамики угнетения, доминирования и власти. Социальные психологи могут бесконечно говорить о том, как человеческие сообщества благородно сотрудничают и свирепо конкурируют и что-то в человеческой психике заставляет нас отдавать предпочтение своим (или, как говорят психологи, «ингруппам»), а не чужим («аутгруппам») — независимо от того, где именно проводится линия между «своими» и «чужими».

Подобные коалиционные инстинкты вполне могут существовать. Но в этой картине мира преобладает представление, что движущей силой предрассудков, по сути, становятся темные человеческие мотивы: желание продвинуть интересы нашей группы и доминировать, чтобы угнетать других.

Но у машин с предрассудками мы такой темной мотивации не находим. Алгоритм дает низкий кредитный рейтинг афро- и латиноамериканцам не потому, что считает себя белым. Алгоритм, который решил, что кухня — место для женщин, не считает себя мужчиной. Эти машины не принадлежат ни к каким социальным группам и у них нет мотивации — кроме желания усваивать закономерности, учиться и прогнозировать.

Если мы видим, как у машин появляются немотивированные предрассудки, то вполне логично предположить, что немотивированные предрассудки могут появляться и у нас. Причем точно так же. Если мы, как и алгоритмы, впитываем закономерности, которые дает нам мир, и используем их для разработки своих внутренних моделей, нам, вполне возможно, не нужны ни темные желания, ни враждебные намерения, чтобы усвоить предрассудки. Чтобы стать предвзятым, мозгу достаточно жить в предвзятом мире.

Для искусственных алгоритмов тренировочными данными служит какой-нибудь банк изображений или текст, собранный в интернете, но для нашего мозга это мир, в котором мы обитаем. И если это мир неравенства и дисбаланса, то это отображается и в моделях, которые строит наш ум.

Эта идея легла в основу умного эксперимента Мадалины Власчану и Дэвида Амодио, проведенного в Нью-Йоркском университете[97]. Ученые решили узнать, как предрассудки нашего общества делают предвзятыми искусственные алгоритмы — и как предвзятость алгоритмов, в свою очередь, внушает предрассудки нам. Они сосредоточились на половом неравенстве, в частности на предрассудках по поводу того, какая работа для какого пола подходит (например, ожидания, что большинство медсестер должны быть женщинами, а большинство инженеров — мужчинами).

Сначала ученые решили убедиться, действительно ли искусственные алгоритмы «усваивают» неравенство из окружающего мира. Для этого они проверили, обнаружится ли больше гендерных предрассудков в выдаче алгоритмов, работающих в обществах с большим уровнем неравенства. Ученые