Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Работа Буоламвини и Гебру подчеркивает скептицизм, который мы должны ощущать, когда слышим, что какая‐то компания заявляет о «99 % точности» своей системы. Точности в чем? Точности для кого? Также работа исследовательниц напоминает, что любая система машинного обучения – это своего рода парламент, где информация для обучения представляет более широкий электорат и, как при любой демократии, важно убедиться, что у каждого есть возможность отдать свой голос [80].

Предвзятость в системах машинного обучения часто становится результатом состава данных, на которых машина учится, что делает чрезвычайно важным понимание того, кто представлен в наборе данных и до какой степени, прежде чем обучать системы, имеющие дело с реальными людьми.

Но что делать, если ваш набор данных настолько исчерпывающий, насколько это вообще возможно, – скажем, вмещает в себя всю полноту письменного английского языка, несколько сотен миллиардов слов, – но мир сам по себе несправедлив?

Дистрибутивная гипотеза: векторное представление слов

Вы должны узнать слово по компании, которая его сопровождает.

Дж. Р. Ферс [81]

Скажем, вы нашли послание в бутылке, которое волны вынесли на пляж. Но вот незадача: часть написанного невозможно прочитать! Вы изучаете одно предложение: «Я зарыл клад к северу от ________________, у пляжа». Без сомнений, любому захотелось бы узнать, какое слово пропущено.

Вряд ли вам в голову придут такие слова, как «хомяк», «пончик» или «парик». На это есть несколько причин. В первую очередь здравый смысл: хомячки слишком непоседливы, пончики портятся, а парик унесет ветром – ни один из вышеупомянутых предметов не может быть долговременным ориентиром для поиска сокровища. Любому, кто прячет клад на срок от нескольких месяцев до многих лет, потребуется что‐то более стабильное, что едва ли исчезнет или сдвинется с места.

А теперь представьте, что вы компьютер, которому не хватает здравого смысла, не говоря уж о способности поставить себя на место гипотетического кладоискателя. Все, что у вас есть, это очень большая выборка (корпус) связанных с реальным миром текстов, где можно искать образцы. Сможете ли вы угадать отсутствующее слово, основываясь исключительно на статистике языка?

Создание моделей предсказания давно стало для компьютерных лингвистов чем‐то вроде поиска священного Грааля [82]. (Клод Шеннон придумал теорию информации в 1940‐х годах, основываясь на математическом анализе именно такого рода, и отметил, что некоторые отсутствующие слова угадать легче, чем другие, и попытался вычислить, насколько именно.) [83] Среди ранних методов можно отметить то, что позднее стало известно как N-граммы. То есть подсчет каждой цепочки из, скажем, двух слов подряд, появляющихся в конкретном корпусе – «подряд появляющихся», «появляющихся в», «в конкретном», «конкретном корпусе» – и проверка по огромной базе данных [84]. Тогда найти пропущенное слово достаточно просто: смотрим на предыдущее и находим, какая N-грамма, начинающаяся с него, встречается в базе чаще других. Таким и будет лучшее предсказание отсутствующего слова. Разумеется, дополнительный контекст вокруг предшествующего слова может давать подсказки, но использовать их не так уж просто. Представьте, что сначала вы храните все возможные в вашем языке фразы из двух элементов (биграммы), а потом из трех (триграммы), четырех и т. д. – ваша база данных разрастается до абсурдного неприемлемого размера. Более того, она очень неоднородна, потому что подавляющее большинство возможных фраз не встречается в речи, а большинство остальных попадаются очень редко.

В идеале нам бы хотелось сделать разумные предположения, даже если конкретная фраза до этого никогда не попадалась ни в одном тексте. Подсчет частот тут не поможет. В предложении «Я сделал глоток горького __________» мы можем прикинуть, что слово «шардоне» здесь более вероятно, чем «уголь», даже если в истории языка нам такое сочетание слов никогда не попадалось. Опора на частотность в таких случаях не сработает, и проблема только усугубляется с добавлением контекста, поскольку чем длиннее фразы, тем выше вероятность, что мы их никогда не встречали.

Этот набор проблем называется проклятием размерности. Он преследует вышеупомянутый лингвистический подход с самого момента его появления [85].

Был ли способ лучше?

Был, и он появился в форме так называемого распределенного представления [86]. Идея состояла в том, чтобы представить слова в виде точек в некоем абстрактном пространстве, где связанные слова окажутся «близко» друг к другу. В 1990‐е и 2000‐е годы появился ряд методов, позволяющих это сделать [87], но в последнее десятилетие один из них стал особенно многообещающим – нейронные сети [88].

Гипотеза, на которой строится модель и на которую возлагают большие надежды, состоит в следующем: похожие слова обычно оказываются рядом друг с другом. Похожесть можно выразить численно. Нейронная сеть работает, превращая (представляя) каждое слово в набор (вектор) чисел, обозначающих его «координаты» в пространстве. Набор координатных чисел и называется представлением слова. (В случае с Word2vec это триста десятичных чисел от –1,0 до 1,0). Это позволяет измерить схожесть слов, то есть насколько далеко расположены точки с соответствующими координатами [89].

Все, что нужно сделать, – разместить слова в этом пространстве так, чтобы модели могли заполнять пропуски настолько хорошо, насколько это возможно. (По крайней мере, насколько позволяет архитектура конкретной модели.)

Как же получить подобные представления? Разумеется, с помощью стохастического градиентного спуска! Для начала разбросаем слова по пространству случайным образом. Затем возьмем любую фразу из корпуса, уберем из нее слово и спросим систему, что она ожидает увидеть на его месте.

Когда модель делает неправильное предположение, мы настраиваем координаты представления слова, чтобы немного придвинуть правильный вариант к контекстным словам в нашем математическом пространстве и немного отодвинуть от ошибочных. Сделав эту крошечную корректировку, мы берем еще одну рандомную фразу и повторяем процедуру снова. И снова. И снова. И снова [90].

«В какой‐то момент, – объясняет компьютерный лингвист из Стэнфорда Кристофер Мэннинг, – происходит что‐то вроде чуда».

Это действительно потрясающе. Вы не делаете ничего особенного, лишь устанавливаете параметры цели предсказания, заставляя модель работать так, чтобы векторы каждого слова угадывали те, что появляются в их контексте (и наоборот). Цель в самом деле очень проста. Вы не говорите больше ничего о том, как достичь этой цели, а просто полагаетесь на магию глубокого обучения… И чудо происходит. И мы получаем векторы, которые чрезвычайно мощно представляют значение слов и полезны для самых разнообразных вещей [91].

Кто‐то может возразить, что эти представления схватывают из языковых нюансов слишком много. В самом деле, они с удивительной ясностью обнажают именно те части, которые мы предпочли бы не замечать.

Темная сторона представлений

Из столь кривой тесины, как та, из которой