Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Как говорит своим студентам Сергей Левин из Калифорнийского университета в Беркли: «Самый естественный путь решения таких задач… – это, по сути, тот же подход, которым мы решаем стандартные проблемы компьютерного зрения. Нам нужны данные, поэтому мы сажаем за руль человека… Мы просто записываем видео с камеры и команды управления, которые он отдает, и собираем все это в обучающий датасет. А потом применяем наш любимый метод обучения с учителем – запускаем стохастический градиентный спуск и обучаем нейросеть… Отнеситесь к этому как к обычной задаче классификации. Это вполне разумная отправная точка» [577].

Затем, объясняет Левин, когда мы передаем управление ИИ, он просто превращает свои предсказания («Думаю, человек сейчас поступил бы так») в реальные действия.

Левин на секунду замолкает и спрашивает аудиторию: «У кого‐нибудь есть идеи, что здесь может пойти не так?» [578]

Вверх взлетает лес рук.

Обучение восстановлению

Подражание развивается с опытом. При обучении танцам разница между движениями ученика и наставника так велика, что затрудняет усвоение. На первых порах повторять не так‐то просто. Некоторые движения получаются… но выглядят неправильно. Стремление к сходству толкает к новым попыткам, ведущим к поражению, пока в конце концов тело не совершает верные движения.

Александр Бейн [579]

Что бы я делал? Не попадал бы в такую ситуацию.

Генеральный директор Apple Том Кук в ответ на вопрос, что бы он сделал, оказавшись в конфликтной ситуации с Марком Цукербергом [580]

Наступил 2009 год. С момента создания ALVINN прошло 20 лет, но в том же здании Университета Карнеги-Меллона аспирант Стефан Росс снова работал над проблемой управления, играя в Super Mario Kart – точнее, в ее бесплатную версию с открытым кодом SuperTuxKart, где главным героем был талисман Linux – пингвин Тукс.

Пока Росс гонял по трассе, компьютер записывал каждое изображение с экрана и каждое движение джойстика. Эти данные использовались для обучения довольно простой нейросети (лишь немного сложнее той, что управляла ALVINN), чтобы она научилась рулить в точности как Росс [581]. Затем он отпускал управление и позволял нейросети вести Тукса. Но очень быстро пингвин слишком широко входил в поворот и вылетал с трассы. Росс начинал заново, но дело шло плохо.

Проблема была в том, что объем данных не имел значения. Росс записал миллионы кадров – около двух часов езды по кругу, – но результат оставался прежним. Стоило передать управление нейросети, Тукс бодро стартовал, а затем начинал вилять и неизбежно улетал в кювет.

Корень проблемы крылся в самой сути обучения: ученик наблюдает за экспертом, а эксперт почти никогда не ошибается. Но какой бы талантливой ни была нейросеть-ученик, она будет совершать ошибки, явные или скрытые. А поскольку она никогда не видела, чтобы эксперт попадал в беду (и тем более – как он из нее выбирался), она понятия не имела, что делать в критической ситуации. Ошибившись, новичок оказывался в положении, которого никогда не было в обучающих данных. «И это означает, – говорил Сергей Левин, – что ситуация становится непредсказуемой».

В SuperTuxKart Росс играл хорошо, поэтому программа видела только примеры идеальной езды по центру трассы. Но стоило Туксу под управлением нейросети слегка отклониться или поехать криво, система терялась. Картинка на экране отличалось от той, что была у Росса. Требовалась реакция, отличная от стандартного «газ в пол», но нейросеть никогда не видела примеров исправления ошибок. И сколько бы Росс ни наматывал идеальные круги, система не становилась лучше.

Исследователи имитационного обучения называют это «каскадным эффектом», и это одна из фундаментальных проблем метода. Как писал Дин Померло, работая над ALVINN: «Поскольку человек ведет машину по центру дороги, нейросеть никогда не видит ситуаций, где нужно исправлять отклонение от курса» [582]. Обучить этому систему долгое время оставалось сложнейшей задачей.

Если Померло был готов доверить системе свою жизнь на шоссе до озера Эри, ему нужно было дать ей нечто большее, чем просто пассивное наблюдение за идеальной ездой. Иначе система оставалась надежной ровно до первой ошибки. Требовать безошибочной работы от прототипа на протяжении двух часов при скорости 90 км/ч было бы безумием.

«Нейросети нужно показать не только правильное вождение, – писал Померло, – но и то, как возвращаться в центр полосы после ошибки» [583]. Но как это сделать? Одна из идей самого Померло заключалась в том, чтобы во время обучения специально отклоняться от курса, показывая ALVINN, как выравнивать машину. Но для этого нужно было бы удалить из данных момент самого начала отклонения (иначе ALVINN научилась бы вилять специально!). Кроме того, чтобы покрыть все возможные ситуации, пришлось бы вилять по дороге так часто и так хаотично, что это заняло бы уйму времени и было бы просто опасно.

Тогда Померло пришла в голову другая идея: он решил одурачить систему.

Изображения, которые видела ALVINN, были крошечными (30 на 32 пикселя), черно-белыми и зернистыми, охватывая лишь трапециевидный кусок асфальта перед капотом. (Поле зрения было настолько узким, что на перекрестках машина терялась в море асфальта.) Померло взял реальные кадры с камеры и программно сместил их так, будто машина отклонилась влево или вправо. Затем он добавил эти фальшивые кадры в обучающую выборку, приписав к ним правильные команды руля для возвращения в центр. Это потребовало некоторой ювелирной работы (фокус работал только на ровной дороге без ям), но на шоссе I‐79 сработало отлично.

По иронии судьбы, развитие технологий глубокого обучения за последнее десятилетие сделало этот «жульнический» подход почти неприменимым. Современные камеры имеют слишком высокое разрешение, широкий угол обзора и высокую частоту кадров – их так просто не подделаешь. Если сгенерированные изображения будут хоть немного отличаться от того, что машина увидит в реальности при заносе, последствия могут быть фатальными. Доверять свою жизнь навыкам работы в Photoshop – слишком большой риск, а современные нейросети обмануть все труднее.

Спустя 20 лет проблема восстановления после ошибок оставалась нерешенной как на практике, так и в теории. «Когда вы учитесь, наблюдая за кем‐то, – говорил мне Стефан Росс, – вы видите распределение примеров, которые необязательно совпадут с тем, с чем вы столкнетесь сами». Росса видит в этом глубокую проблему: все машинное обучение строится на допущении, что условия обучения и реальной работы одинаковы (тренировочное и тестовое распределения совпадают). Но в имитационном обучении это не так [584].

Росс и его научный руководитель Дрю Багнелл провели теоретический анализ проблемы. В обычном обучении (например, распознавании картинок) ошибки растут линейно: покажите системе