Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

выяснилось, трудно даже определить правильную гендерную «координату». К примеру, можно задать ее как векторную «разницу» между парой «woman – man». Но здесь скрыто нечто куда большее, чем пол. Есть еще идиоматические использования, такие как «man oh man» [108], и глагольная форма, как в предложении «all hands, man your battle stations» («Всему экипажу занять боевые посты!»). Команда решила набрать ряд подобных пар слов: «woman – man», «she – he», «gal – guy» (девушка – парень) и т. д. и использовать метод главных компонент, чтобы изолировать оси, которые объясняют самую большую разницу в этих парах; предположительно, это и будут гендерные оси [109].

Далее предстояло попытаться определить, приемлема ли разница для слов, отличающихся по признаку пола. Скажем, «король – королева» – это вполне адекватное разделение по полу, как и «отец – мать», но, возможно, мы не хотели рассматривать JC Penny как женскую версию Home Depot, как это делает Word2vec по умолчанию.

Тогда как отделить проблемные гендерные ассоциации от беспроблемных, если речь о сотнях тысяч разных слов? Как узнать, какие аналогии оставить, какие подкорректировать, а какие вообще убрать?

Команда из пяти ученых-компьютерщиков обнаружила, что, в сущности, занимается социологией. В самом деле, часть задач в итоге потребовала консультаций, поскольку исследователи вышли за границы своей привычной научной области. «Мы группа исследователей машинного обучения, – рассказывает Калаи. – Я работаю в лаборатории, где есть группа специалистов в области общественных наук. Слушая, как они говорят о различных проблемах, связанных с социологией и общественными науками, мы узнали о возможных опасениях, которые могут вызывать алгоритмы машинного обучения, но никто из нас пятерых – а нас всего пятеро – никогда не работал с гендерным неравенством и практически ничего о нем не читал».

Возможно, группа была наивна, но она попросила социологов дать формальное определение того, какие аналогии можно считать допустимыми, а какие – нет. Социологи быстро развеяли заблуждение компьютерщиков о том, что простое формальное определение такого рода вообще возможно. «Мы поинтересовались, как дать определение наилучшим образом, – рассказывает Болукбаси. – Они говорят: „Социологи не могут найти даже более-менее приемлемого“. Как инженер ты хочешь стремиться к идеалу, чтобы улучшать алгоритм, пока не достигнешь цели. Но поскольку все это связано с людьми, культурой и тому подобным, никто не знает правильного ответа. Нельзя добиться соответствия непонятно чему. В этом плане нам очень трудно».

Группа решила определить набор слов, которые считаются приемлемыми, и рассматривать их как гендерно маркированные фундаментальным образом: такие слова, как «он» и «она», «брат» и «сестра», а также анатомические термины («яйцеклетка» и «сперма») и социальные слова, к примеру, «мужской – женский монастырь», «братство – сестринство». Некоторые случаи потребовали непростых решений, скажем, слово nurse (няня). В качестве существительного оно обозначает профессию, где гендерный аспект не играет роли, но как глагол это слово обозначает то, что может делать только женщина (кормить грудью). А что насчет таких слов, как раввин? Есть ли у них гендер, зависит от того, была ли рассматриваемая еврейская община ортодоксальной или реформистской. Команда выделила 218 подобных гендерно обусловленных слов в подмножество внутри словаря модели и дала системе делать выводы об остальном содержимом. «Отметим, что выбор слов субъективен, – писали исследователи, – и в идеале должен быть подогнан в зависимости от индивидуального применения» [110]. Для всех слов, находящихся вне этой выборки, ученые установили начальный гендерный компонент представления слова, равный нулю. Затем они настроили представления всех гендерно зависимых слов так, чтобы эквивалентные термины (скажем, «сестра» и «брат») были равноудалены от этой нулевой точки. Иными словами, систему настроили так, чтобы ни один термин не был представлен в модели как более гендерно обусловленный или гендерно нейтральный, чем его пара.

Стала ли лучше новая модель, лишенная предрасположенности к определенным оценкам? Команда взяла на вооружение социологический метод и просто опросила людей. В качестве референтной группы выступали американские работники платформы Amazon Mechanical Turk, которые отмечали ряд проведенных моделью аналогий как «стереотипы». Даже здесь вклад социологов оказался чрезвычайно важным. Точная формулировка запроса была очень существенной. «Нам следовало поговорить с ними, потому что, при разработке эксперимента в Mechanical Turk, форма, где задаются вопросы, действительно решала все, – рассказывает Болукбаси. – Это очень щекотливая тема» [111].

Результаты получились вдохновляющие. Там, где модель по умолчанию выдавала результат «врач – мужчина + женщина = медсестра», теперь система говорила «медик». Сотрудники Mechanical Turk сообщали, что 19 % гендерных аналогий оригинальной модели отражали гендерные стереотипы, у новой же модели, лишенной предрасположенности к оценкам, такими были признаны только 6 % [112].

Такой нейтрализации удалось добиться при небольших издержках – к примеру, теперь модель считала, что вполне нормально использовать выражение «grandmothered in», раз выражение «grandfathered in» применяется, когда речь идет о юридических исключениях [113]. Но, возможно, эту цену стоило заплатить. Всегда можно решить, какую ошибку в прогнозе вы готовы стерпеть, чтобы избавиться от оценочных отклонений, и пойти на разумный компромисс.

Как писала команда ученых, «существует точка зрения, утверждающая, что неравенство при представлении слов просто отражает неравенство, существующее в обществе, поэтому необходимо прежде всего избавить от оценочных суждений общество. Тем не менее… в какой‐то мере лишенное предрассудков представление слов может, как мы надеемся, внести вклад в избавление общества от предрассудков. По меньшей мере машинное обучение не должно использоваться, чтобы непреднамеренно усиливать эти противоречия, что, как мы видели, происходит очень легко» [114].

Возрастали надежды на то, что с помощью языковых моделей мы сможем создать системы, которые не просто улавливают существующее положение дел, как это происходит сейчас, а модели лучшего мира – мира, в котором нам хотелось бы жить.

Как бы то ни было, у истории есть продолжение. В 2019 году специалисты по компьютерам из университета имени Бар-Илана Хила Гонен и Йоав Гольдберг опубликовали исследование своих «лишенных предрассудков» представлений и показали, что подобное исключение систематической ошибки – это только, как они емко выразились, «губная помада на морде свиньи» [115]. Да, оно убирает связи между такими профессиями, как медсестра и секретарь на ресепшн, и терминами, где есть явное указание на пол – «женщина», «она». Но скрытая связь между этими профессиями, шаблонно считающимися женскими, остается. Израильские ученые полагали, что частичное устранение неравенства может даже усугубить проблему, поскольку большинство стереотипных ассоциаций остаются нетронутыми, а исключаются только те, которые проще всего заметить и измерить [116].

Болукбаси, который к тому времени перешел в Google, со своими коллегами продолжал работать над проблемой и подтвердил, что бывают случаи, когда модель, не имеющая предрасположенности к определенным оценкам, при использовании в системе рекрутинга может оказаться даже хуже первоначальной [117]. В таких