Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

При разработке архитектуры, которая дает визуальные или вербальные объяснения, нужно учитывать ряд рисков. Исследования подтверждают возможность существования «состязательных объяснений»: две системы могут вести себя почти идентично, но при этом приводить совершенно разные обоснования своего поведения [807].

Способность убедительно объяснять чье‐либо поведение обладает большой силой – независимо от того, правдивы эти объяснения или ложны. Когнитивные психологи, такие как Уго Мерсье и Дэн Сперберг, нередко отмечают, что человеческая способность к рассуждению развилась не столько для принятия лучших решений и формирования более точных представлений о мире, сколько для того, чтобы побеждать в спорах и убеждать других [808]. Здесь требуется осторожность. Мы не должны создавать системы, которые лишь создают видимость объяснения или ощущение, что мы их понимаем. Такие системы могут использовать свою способность к объяснению обманчиво: мы рискуем выбрать оптимальное решение, которое на деле окажется виртуозной формой лжи.

В целом, даже если мы требуем от системы правдивых объяснений, сама возможность системы убедительно себя объяснять может помочь нам ее контролировать. Однако если мы поддадимся влиянию «доказательной теории рассуждений», это может позволить системе контролировать нас.

Агенты

В главах 4, 5 и 6, обсуждая обучение с подкреплением, формирование вознаграждения и внутреннюю мотивацию – особенно в контексте игр Atari и го, – мы косвенно исходили из предположения о существовании так называемой эргодичности. Это значит, что невозможно совершить необратимую, смертельную ошибку, а любое негативное последствие можно исправить, начав сначала. Поэтому нет проблемы в том, чтобы учиться, допуская сотни тысяч случайных – и порой фатальных – ошибок. Однако такая эргодичность существует лишь в безопасных «игрушечных» мирах вроде Atari.

Помню, в начале 2000‐х годов я видел рекламный ролик автомобиля. В нем показан программист эпохи доткомов – представитель поколения Х, который днем создает экстремальную гоночную игру с кинематографическими замедленными сценами катастроф, а вечером аккуратно едет домой на своем седане, думая прежде всего о безопасности. «Потому что в реальной жизни, – говорит он, глядя в камеру, – нет кнопки перезагрузки».

Ян Лейке из DeepMind формулирует эту мысль иначе. Он подчеркивает, что между ним самим и искусственными агентами, которых он изучает, есть принципиальное различие. Точнее, существует огромная разница между их мирами и его собственным: «Реальный мир не обладает эргодичностью, – отметил исследователь. – Если я выпрыгну из окна, это будет не та ошибка, на которой я смогу чему‐то научиться» [809].

Различные подходы к обучению с подкреплением опираются на разные допущения. Некоторые предполагают, что мир состоит из конечного числа дискретных состояний. Другие – что агент всегда точно знает, в каком состоянии находится. Многие исходят из того, что вознаграждения всегда выражаются скалярными величинами, не меняются и их получение всегда предсказуемо. Немало подходов основаны на предположении, что окружающая среда стабильна. Часть считает, что агент не может безвозвратно изменить среду, а среда – агента.

В реальном мире многие действия изменяют ваши цели. Например, лекарства, влияющие на сознание или настроение (рецептурные и нет), способны изменять цели – хотя бы временно. То же самое бывает, когда переезжаешь в другую страну, встречаешь важного человека или даже слышишь определенную песню.

Большинство методов обучения с подкреплением игнорируют такую возможность. Лишь немногие исследования допускают, что агент может пытаться «рационально» защититься от подобных изменений [810]. При этом люди сознательно ищут опыт, который меняет их, – даже если не могут предсказать, как именно они изменятся [811]. (Один из очевидных примеров – родительство.)

Традиционное обучение с подкреплением обычно предполагает, что агент – единственный в своей среде. Даже в играх с нулевой суммой (например, в шахматах или го) система скорее «играет против фигур», чем против соперника. При этом почти не учитывается, что оппонент может адаптироваться к ее стратегии.

В одной из недавних бесед с двумя исследователями в области обучения с подкреплением мы обсуждали, что будет, если большинство таких алгоритмов столкнутся с дилеммой заключенного [812]. В ней двое соучастников преступления должны решить, сотрудничать ли им (сохранять молчание) или отказаться от сотрудничества (дать показания друг на друга). Стратегия сотрудничества дает наилучший результат, но лишь при условии, что ее выбирают оба. При этом традиционные агенты обучения с подкреплением не способны осознать, что в среде есть другой агент, чье поведение определяется его собственной волей. Отказ от сотрудничества всегда выглядит более простым решением с максимальной краткосрочной выгодой. Сотрудничество же требует определенной синхронизации, а ее не смогу достичь два агента, не осознающие своей взаимозависимости [813].

Жан Пиаже, рассуждая о развитии детского разума, отмечал: «Шаг за шагом, по мере установления связей его интеллектуальных инструментов, он открывает себя как активный объект, находящийся среди других активных объектов во внешней по отношению к нему вселенной» [814].

Люди осознают, что, по словам учителя «осознанности» Джона Кабата-Зинна [815], «куда бы ты ни шел, ты уже там». В отличие от них агенты обучения с подкреплением обычно не воспринимают себя как часть моделируемого ими мира. Большинство систем машинного обучения предполагают, что они сами по себе не влияют на мир – поэтому им не нужно моделировать или понимать себя. Однако чем мощнее, функциональнее и масштабнее становятся такие агенты, тем меньше оснований для этого допущения. Например, Абрам Демски и Скотт Гаррабрант из Института исследований машинного интеллекта выдвинули идею о необходимости «вложенной агентности» – переосмысления того глубоко укоренившегося разделения себя и мира, которое стало в отрасли чем‐то само собой разумеющимся [816].

Имитация

В главе 7 мы обсуждали одно из самых фундаментальных – и при этом безосновательных – предположений, лежащих в основе имитационного обучения. Оно заключается в том, что интерактивный мир, где каждый ваш выбор меняет то, что вы видите и переживаете, можно рассматривать как классическую задачу контролируемого обучения. В последней данные, с которыми вы работаете, считаются независимыми и одинаково распределенными. Если вы ошибочно пометили изображение кошки как изображение собаки, это никак не повлияет на то, какая картинка появится следующей. Но в случае с управлением автомобилем ситуация иная: если вы неверно интерпретируете изображение дороги (например, посчитаете, что нужно повернуть направо, хотя на самом деле следует ехать прямо), то вскоре окажетесь на незнакомой дороге, ведущей вбок.

Именно это порождает так называемые каскадные ошибки – и методы вроде DAgger призваны их минимизировать. В некотором смысле ситуацию можно сравнить с аэродинамикой современных стелс-истребителей, таких как F‐117 Nighthawk. Эти самолеты нестабильны по всем трех осям: для их устойчивого полета требуется абсолютная точность, иначе они мгновенно становятся