Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

огромное количество функций вознаграждения, которые приведут к абсолютно одинаковому итоговому поведению. С другой стороны, эта двусмысленность часто не имеет значения потому, что поведение алгоритма в итоге не меняется. Возьмем бокс: там используется десятибалльная система, где победитель раунда получает десять очков, а проигравший – девять. Если начинающий боксер по ошибке решит, что счет идет на миллионы (десять миллионов против девяти) или на крошечные доли (десять миллионных против девяти), либо что счет равен 11 против 10, – он все равно поймет главное: побеждает тот, у кого больше очков. Его поведение на ринге ничем не будет отличаться от поведения бойца, который понял систему подсчета абсолютно верно. Ошибка неизбежна, но она оказывается несущественной [654].

Однако возникает другой, более опасный вопрос: почему мы вообще предполагаем, что человеческие действия имеют хоть какой‐то смысл? Что, если люди вообще ни к чему не стремятся, и их поведение – это просто хаос и ничего больше?

В первой научной статье, посвященной практическому применению IRL, Стюарт Рассел и его на тот момент еще аспирант Эндрю Ын рассмотрели несколько простых примеров, чтобы доказать жизнеспособность своей идеи [655]. Они использовали сетку пять на пять квадратов, где нужно было привести игрока в конкретную клетку, и виртуальную игру, где машина должна была заехать на вершину холма. Могла ли система IRL угадать эти цели, просто наблюдая за тем, как в игру играет эксперт (человек или программа)?

Ын и Рассел заложили в систему несколько упрощающих допущений. Программа исходила из того, что игрок никогда не действует случайно и никогда не ошибается: каждое его действие – объективно лучшее из возможных. Также она полагала, что награды, мотивирующие агента, «просты»: любое действие или состояние, которое выглядит как нулевой результат, действительно имеет нулевую ценность [656]. Наконец, система считала, что если игрок выбирает какое‐то действие, то все остальные вариант заведомо ошибочны. Это исключало вероятность того, что в игре есть несколько равнозначных целей, между которыми игрок выбирает наугад.

Эти предположения были слишком сильными, а сама задача – слишком примитивной, чтобы найти немедленное практическое применение (до разгадки сложности человеческой походки было еще очень далеко). Но метод сработал! Вознаграждения, которые вычислила система, оказались очень близки к реальным правилам игры. А когда Ын и Рассел разрешили программе сыграть самой, максимизируя ту награду, которую она «угадала», она набрала столько же очков, сколько и система, изначально запрограммированная на реальный игровой счет.

К 2004 году Эндрю Ын получил докторскую степень и преподавал в Стэнфорде, где у него появился собственный аспирант – Питер Аббель. Они сделали новый шаг в развитии IRL, попытавшись усложнить виртуальную среду и смягчить первоначальные допущения [657]. Их идея заключалась в следующем: любая решаемая задача обладает набором ключевых характеристик. Например, наблюдая за вождением автомобиля, мы можем выделить такие факторы, как занимаемая полоса, скорость, дистанция до впереди идущей машины и так далее. Ученые разработали алгоритм IRL, который исходил из того, что при самостоятельном управлении машиной он должен ориентироваться на ту же структуру характеристик, что и наблюдаемый водитель. В сильно упрощенном симуляторе вождения (в стиле старых игр Atari) алгоритм показал многообещающие результаты: поведение виртуального «ученика2 во многом повторяло стиль вождения самого Аббеля. ИИ избегал аварий, обгонял тихоходы и старался держаться правой полосы.

Этот подход кардинально отличался от прямого имитационного обучения (о котором шла речь в главе 7). Если бы алгоритм пытался тупо копировать каждое движение руля Аббеля, то уже через минуту он бы потерял ориентацию – дорожная обстановка слишком сложна, чтобы слепо повторять заученные движения. Поведение Аббеля было сложным, но его цель оставалась простой. Всего за несколько секунд система уловила главное правило (не врезаться), а затем дополнила его второстепенным (не съезжать с дороги и держаться правой полосы). Модель целей оказалась гораздо проще, чем модель поведения. Ее было легче усвоить и адаптировать к новым ситуациям: вместо слепого копирования действий эксперта агент учился следовать его намерениям.

Пришло время проверить алгоритм в суровых условиях реального мира.

В главе 5 мы рассказывали, как Ын использовал метод формирующего вознаграждения, чтобы научить автономный вертолет зависать на месте и летать по заданному маршруту. На тот момент ни одна компьютерная система не могла этого делать, и это стало важной вехой в истории машинного обучения. Но затем прогресс застопорился. «Честно говоря, мы уперлись в стену, – вспоминал Ын. – Были вещи, которым мы никак не могли научить вертолет» [658].

Проблема отчасти состояла в том, что зависание на месте и следование заданному маршруту на низкой скорости легко описать через традиционную функцию вознаграждения. Зависание – это когда скорость во всех направлениях стремится к нулю; полет по маршруту – это награда за движение по траектории и штраф за отклонение. Главная трудность здесь состояла в том, чтобы научить систему выполнять маневры, управляя лишь скоростью винтов и углами наклона машины. С этой задачей обучение с подкреплением отлично справилось.

Но когда речь зашла о сложнейших аэродинамических фигурах, выполняемых на высокой скорости, стало совершенно не ясно, как вообще должна выглядеть функция вознаграждения. Конечно, можно просто нарисовать в пространстве кривую и приказать компьютеру по ней пролететь. Но законы физики (особенно на скорости) могут этого не позволить. На каком‐то участке траектории инерция окажется слишком сильной, перегрузка – запредельной, а мощности двигателя просто не хватит. В таком случае система запрограммирована на провал. А крушение 7‐килограммового вертолета, летящего на скорости 70 км/ч, – забава не только опасная, но и крайне дорогая. «Наши попытки использовать жестко запрограммированные траектории раз за разом заканчивались катастрофой», – писали исследователи [659].

Тогда ученые решили поступить иначе. Они попросили опытного пилота выполнить нужный маневр и запустили алгоритм обратного обучения с подкреплением, чтобы ИИ сам вычислил цель, к которой стремится человек. В 2007 году Аббель, Ын и их коллега Адам Коутс продемонстрировали первый в мире радиоуправляемый вертолет, способный автономно (под управлением ИИ) сделать переднее сальто и «бочку» [660]. Это был колоссальный прорыв. Он доказал: метод IRL способен разгадывать намерения людей в реальном мире даже тогда, когда все остальные подходы бессильны.

Но исследователи не собирались останавливаться на достигнутом. Они захотели научить вертолет трюкам, которые не мог идеально выполнить даже их главный эксперт – профессиональный пилот Гаретт Оку, управлявший машиной с пульта. Ученые решили вывести алгоритм на запредельный уровень и заставить компьютер делать то, что выходит за рамки человеческих возможностей.

Они сделали критически важное открытие. Даже если Оку не может выполнить маневр безупречно, в каждой его попытке ошибки будут разными. В отличие от метода прямого копирования (когда ИИ повторяет