Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Один из ведущих специалистом в этой области – робототехник Анка Драган из Беркли, автор термина «понятное движение» [685]. По мере того как роботы взаимодействуют с людьми все теснее, они должны вести себя не просто максимально эффективно или предсказуемо, но и ясно транслировать свои скрытые намерения. Драган приводит в пример ситуацию с двумя бутылками на столе. Если робот потянется к одной из них по одеяльной прямой (самой короткой и эффективной траектории), человеку будет по последнего момента неясно, какую именно бутылку он хочет взять. Но если манипулятор двинется по широкой гиперболе, мы сразу поймем его цель. В этом смысле предсказуемость и понятность (распознаваемость) – противоположности. Предсказуемость означает, что наблюдатель уже знает вашу цель и может угадать маршрут, а понятность означает, что наблюдатель цели не знает, но маршрут помогает ее быстрее угадать.

Помимо понимания важности «педагогического» поведения, появилось и второе важное открытие. Сотрудничество оказывается гораздо эффективнее, когда оно выстроено как непрерывное взаимодействие, а не как две изолированные фазы: «сначала учись, потом делай».

Ян Лейке столкнулся с этим в своей работе по обучению с помощью обратной связи от человека. «Одной из самых интересных деталей в той статье стало то, что в итоге уместилось в обычную сноску, – говорил он. – Это примеры так называемого взлома системы вознаграждений».

Если агент сначала тратит все время на изучение функции вознаграждения, а лишь затем приступаем к оптимизации поведения, это часто заканчивается катастрофой. Агент находит лазейку, использует ее и перестает развиваться. Например, Лейке учил агента играть в Pong, используя только оценки коротких видеоклипов с его игрой, которые давали люди. В одном из экспериментов компьютер научился идеально отслеживать летящий мяч ракеткой, но… пропускал его в самую последнюю секунду. Поскольку у него не было доступа к реальному счету, он понятия не имел, что пропускает самый важный момент игры.

В другом эксперименте система научилась безупречно отбивать мяч и защищать свою половину поля, но даже не пыталась забить гол, просто поддерживая бесконечную перепасовку.

«С точки зрения безопасности это крайне полезный опыт, – говорил Лейке. – Мы хотим понять, как происходят подобные сбои, и придумать защиту от них».

Выяснилось, что когда обратная связь от человека вплеталась в процесс на всем протяжении обучения (а не загружалась только на старте), такие проблемы обычно решались сами собой [686]. Это еще один аргумент в пользу того, что строгую парадигму «смотри и учись» стоит заменить гибкой моделью непрерывного сотрудничества.

Джули Шах из Массачусетского технологического института, изучающая сотрудничество человека и робота в реальном мире, пришла к аналогичному выводу. «Много лет меня интересовало, как можно совместно оптимизировать процесс обучения человека и машины», – рассказывала она. Работа с роботами привела ее к изучению исследований по подготовке человеческих команд. Люди, безусловно, реагируют на поощрения, но в человеческих коллективах редко применяется грубое микроуправление через систему мелких наград за каждое действие. «Если вы обучаете систему через интерактивное назначение вознаграждений, это больше похоже на дрессировку собаки, чем на обучение человека», – объясняла Джули [687]. Простая демонстрация тоже не всегда помогает. «Это отличный способ односторонней передачи навыка, – говорила Шах. – Но он не работает, когда речь идет о координации совместных взаимозависимых действий человека и машины». Демонстрировать парную работу гораздо сложнее.

Выводы из исследований человеческих коллективов однозначны. «Существует серьезная литература, доказывающая, что явное инструктирование и командование вторым человеком – худший способ наладить командную работу. Знаете, когда об этом задумываешься, кажется, что это очевидно… И тем не менее, это худший из возможных методов командного тренинга», – говорила Шах.

«Но есть и другие исследования, – добавляет она. – Представьте команду людей с общей целью. Если каждый понимает цель, но у них разные, несогласованные стратегии ее достижения, а их работа взаимозависима, они покажут гораздо худший результат, чем команда с не самой оптимальной, но единой и согласованной стратегией». Практически в любом коллективе – в бизнесе, армии, спорте или музыке – наличие общей глобальной цели подразумевается само собой. Но этого недостаточно. Нужен общий план.

В командах людей отлично работает так называемое перекрестное обучение. Коллеги на время меняются ролями. Внезапно оказавшись на месте напарника, человек начинает понимать, как изменить свою работу, чтобы она лучше стыковалась с потребностями и процессами других. Перекрестное обучение – это золотой стандарт командного тренинга, который применяется на производстве, в медицине и армии [688].

Шах задалась вопросом: сработает ли это во взаимодействии человека и робота? Можно ли перенести лучший метод подготовки людей прямо в робототехнику? Идея казалась безумной: «Это походило на чисто психологический эксперимент, – вспоминала она. – Мы думали, есть ли в этом смысл. Идея настолько странная, что стоит ее проверить».

Так они и поступили. Исследователи хотели выяснить два момента: способно ли перекрестное обучение конкурировать с традиционными методами машинного обучения, и (что весьма необычно для таких тестов) поможет ли оно самому человеку лучше понять, как обучать робота и работать с ним.

Группа Шах смоделировала реальную производственную задачу: совместную установку и закручивание болтов (только без шуруповерта). Они сравнили традиционные методы – демонстрацию и обратную связь – с перекрестным обучением [689].

«Результаты нас поразили и очень вдохновили, – рассказывала исследовательница. – Перекрестное обучения привело к улучшению объективных показателей командной работы». Люди чувствовали себя увереннее, выполняя задачи параллельно с роботом, а не по очереди; это сократило время простоя и повысило общую производительность [690].

Но еще интереснее оказались субъективные оценки. По сравнению с контрольной группой, которая использовала классическое обучение, люди, прошедшие перекрестные тренировки, заявляли, что больше доверяют роботу и считают, что он подстраивается под их индивидуальный стиль работы.

Как бы невероятно это ни звучало, но лучший метод тренировки человеческих коллективов удалось успешно перенести в робототехнику. Это дает надежду на то, что и будущие открытия из психологии найдут свое применение в ИИ – и наоборот.

«Это было базовое исследование на относительно простой задаче, – говорила Шах. – Но даже здесь мы получили статистически значимые результаты. Это открывает огромные перспективы для изучения методов подготовки людей и их адаптации для смешанных команд человека и робота» [691].

Сотрудничество к лучшему или к худшему

Все это складывается в довольно обнадеживающую картину. Сотрудничество – основа нашей эволюционно новой и практически уникальной способности угадывать чужие намерения и цели, а также нашего желания помогать другим людям. Машины уже могут делать то же самое – и делают это все чаще, учась на наших примерах, опираясь на нашу обратную связь и все теснее работая бок о бок с нами.

По мере того как машины становятся умнее, а