Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

«парламентарий». (По иронии судьбы, именно фотографии парламентариев Джой Буоламвини и Тимнит Гебру использовали для калибровки и выявления предвзятости систем распознавания лиц.) На противоположном же полюсе, максимально смещенном в сторону слова «меньшинство», оказалась профессия «лакей».

98

Больше информации о представлении слов в поисковом ранжировании см. в Nalisnick et al., Improving Document Ranking with Dual Word Embeddings, а о представлении слов при найме на работу – в Hansen et al., How to Get the Best Word Vectors for Resume Parsing.

99

См. Gershgorn, Companies Are on the Hook If Their Hiring Algorithms Are Biased.

100

Bertrand and Mullainathan, Are Emily and Greg More Employable Than Lakisha and Jamal? См. также Moss- Racusin et al., Science Faculty’s Subtle Gender Biases Favor Male Students, где описаны подобные эффекты по отношению к полу.

101

Разумеется, на рекрутеров-людей также может повлиять машинное обучение. Знаковое исследование Google AdSense 2013 года, проведенное Латанией Суини из Гарварда, показало, что объявления в Интернете, где было указано, что у человека есть запись об аресте (независимо от того, был ли он арестован на самом деле), гораздо чаще появлялись в результатах поиска Google, если речь шла об именах, «похожих на имена чернокожих». Суини отмечает, что это чревато при аренде недвижимости, получении кредита или поиске работы. Анализ и возможные решения проблемы см. в Sweeney, Discrimination in Online Ad Delivery.

102

Каноническую историю о проблемах с оркестром см. в Goldin and Rouse, Orchestrating Impartiality. По словам авторов, чтобы добиться такого эффекта, некоторые оркестры используют ковер, а другие даже нанимают человека, который делает «компенсирующие шаги». В последние годы некоторые ученые ставят под сомнение результаты этой классической статьи, см. Sommers, Blind Spots in the ‘Blind Audition’ Study.

103

Эта идея широко известна как «избыточное кодирование». См. Pedreshi, Ruggieri, and Turini, Discrimination- Aware Data Mining.

104

Dastin, Amazon Scraps Secret AI Recruiting Tool That Showed Bias Against Women.

105

Также следует отметить, что потенциальный сотрудник, чье резюме не заметила эта модель и кому никогда не звонили рекрутеры Amazon, может и не узнать о том, что был в пуле кандидатов.

106

В 2018 году информационное агентство Reuters сообщило, что Amazon сформировала новую команду, «дав еще один шанс автоматизированному подбору сотрудников, на этот раз с вниманием к отличиям». О цифровом взгляде на найм и неравенство см. в Kleinberg and Raghavan, Selection Problems in the Presence of Implicit Bias.

107

Bolukbasi et al., Man Is to Computer Programmer as Woman Is to Homemaker? Та же проблема обсуждается в Schmidt, Rejecting the Gender Binary и Prost, Thain, and Bolukbasi, Debiasing Embeddings for Reduced Gender Bias in Text Classification.

108

Английская фраза, использующаяся как междометие. – Прим. пер.

109

Больше информации см. в Bolukbasi et al., Man Is to Computer Programmer as Woman Is to Homemaker?

110

Там же.

111

Интервью автора с Толгой Болукбаси, 11 ноября 2016.

112

Критику методов работы с сотрудниками Mechanical Turk и рассказ о том, какие проблемы появились в наборе данных ImageNet и других нейросетях из-за этих методов см. в Crawford and Paglen, Excavating AI.

113

На самом деле, выражение to grandfather in происходит от дискриминационных «дедушкиных оговорок» в законах Джима Кроу во время Реконструкции Юга. К примеру, в номере New York Times от 3 августа 1899 года описан такой законодательный акт: «Поправка также дает потомкам любого человека, имевшего право голосовать в 1867 году, возможность голосовать независимо от нынешних условий. Называется она „дедушкина оговорка“».

114

Bolukbasi et al., Man Is to Computer Programmer as Woman Is to Homemaker?

115

Gonen and Goldberg, Lipstick on a Pig.

116

Джеффри Ирвинг из DeepMind поделился своим мнением в личной переписке: «Модели представления слов – это слишком упрощенный подход. Их невозможно избавить от предвзятости, не потеряв при этом ценную гендерную информацию. Нам нужно нечто более интеллектуальное, чтобы понять, „слышит“ ли система стук ботинок. С математической точки зрения это сводится к необходимости нелинейности и невыпуклости – свойств, которые обычное векторное представление слов обеспечить не может. И, разумеется, сам по себе тезис: „Полагаю, для решения проблемы нам нужная более мощная модель“ звучит как весьма неоднозначный и интересный призыв». Больше о выравнивании более мощных и сложных языковых моделей с человеческими представлениями см. Ziegler et al., Fine-Tuning Language Models from Human Preferences.

117

Prost, Thain, and Bolukbasi, Debiasing Embeddings for Reduced Gender Bias in Text Classification.

118

Greenwald, McGhee, and Schwartz, Measuring Individual Differences in Implicit Cognition.

119

Временная (1–2 года) ставка научного сотрудника после защиты диссертации. Для получения постоянной ставки или длительного контракта обычно требуется 1–2 постдока. – Прим. пер.

120

Caliskan, Bryson, and Narayanan, Semantics Derived Automatically from Language Corpora Contain Human-Like Biases.

121

Там же.

122

Garg et al., Word Embeddings Quantify 100 Years of Gender and Ethnic Stereotypes.

123

Caliskan, Bryson, and Narayanan, Semantics Derived Automatically from Language Corpora Contain Human-Like Biases.

124

Yonatan Zunger, So, About this Googler’s Manifesto, https://medium.com/@yonatanzunger/so-about-this-googlers-manifesto‐1e3773ed1788.

125

Kinsley, What Convict Will Do If Paroled.

126

Дело «Бак против Дэвиса», заседания начаты 5 октября 2016 года, приговор вынесен 22 февраля 2017 года; https://www.supremecourt.gov/opinions/16pdf/15–8049_f2ah.pdf.

127

Hardt, How Big Data Is Unfair.

128

Clabaugh, Foreword.

129

Burgess, Factors Determining Success or Failure on Parole.

130

Clabaugh, Foreword.

131

Ernest W. Burgess and Thorsten