Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

диссертации в лаборатории Стюарта Рассела станет логичным продолжением магистерской работы, то есть он займется постановкой задач для роботов и программированием перемещений. Однако в тот год Рассел был в творческом отпуске. Когда весной 2014 года он вернулся, все изменилось.

«У нас было большое собрание, на котором мы обсуждали планы, – вспоминал Хэдфилд-Менелл. – Рассел изложил свое видение будущих исследований. Он прямо не назвал проблему „выравнивания“, но задал вопрос: „Что может пойти не так, если мы добьемся реального успеха в создании ИИ?“ Рассел рассказал, что начинает всерьез задумываться о долгосрочных рисках: чем гибче и мощнее становятся самообучащиеся системы, тем важнее строго контролировать, чему именно они учатся». Во время работы в Париже эти опасения лишь окрепли. Рассел вернулся в Беркли с твердой уверенностью, что этой теме необходимо посвятить как научные исследования, так и общественные дискуссии.

«Идеи для исследований появились практически сразу, – говорил Рассел [676]. – Решением казались системы ИИ, чьи ценности согласованы с человеческими, то есть такие системы, которые разделяют наши цели. И, по сути, еще с конца 1990‐х годов я занимался именно этой проблемой в рамках концепции обратного обучения с подкреплением».

Я отметил, что есть определенная ирония в том, что его новая программа по безопасности ИИ выросла из идеи двадцатилетней давности. Ленивые размышления Рассела по пути в Safeway спустя два десятилетия превратились в план спасения цивилизации от возможной катастрофы. «Это всего лишь совпадение, – пояснил он. – Но, по правде сказать, все это научное направление выросло из целой чреды совпадений, так что все нормально».

На том историческом собрании лаборатории Рассел обозначил несколько конкретных тем, заслуживающих стать основой для докторских диссертаций. Хэдфилд-Менелл продолжил заниматься робототехникой, но в глубине души постоянно возвращался к проблеме согласования ценностей. Поначалу его привлекал чисто интеллектуальный азарт первооткрывателя – возможность погрузиться в неисследованную область и внести в нее весомый вклад. Но со временем пришло иное понимание: «Казалось, что это невероятно важная проблема, на которую совершенно не обращают внимания». Весной 2015 года он решил радикально сменить тему диссертации и направление своей карьеры.

«В то время я даже в душе думал только о выравнивании ценностей, – признался Хэдфилд-Менелл.

Одним из первых их совместных проектов с Расселом стал пересмотр самой структуры обратного обучения с подкреплением. Вместе с Питером Аббелем и специалистом по робототехнике из Беркли Анкой Драган они начали переосмысливать эту концепцию с нуля. И здесь они нащупали две ключевые идеи.

История с обучением вертолета, как и почти все в этой отрасли, строилась на четкой границе между человеком и машиной. Пилот-эксперт просто выполнял трюки, а компьютер в изоляции пытался извлечь из этих демонстраций пользу. Каждый действовал сам по себе, словно в вакууме. Но что, если бы человек с самого начала знал, что у него есть старательный искусственный ученик? Что, если бы они осознанно работали вместе? Как бы это выглядело?

Вторая важная деталь заключалась в том, что в традиционном IRL машина принимает функцию вознаграждения человека как свою собственную. Если пилот показывает фигуру «хаос», компьютерный алгоритм тоже пытается ее выполнить. Иногда это имеет смысл: мы хотим безопасно ездить на работу и рады, когда наш беспилотный автомобиль усваивает этот прозрачный набор целей. Но в других случаях нам нужно что‐то менее прямолинейное. Потянувшись за фруктом, мы не хотим, чтобы домашний робот сам съел банан. Мы, скорее, ожидаем от него поведения полуторогодовалого ребенка: заметив, что мы не можем дотянуться до предмета, он берет его и передает нам [677].

Рассел назвал эту новую парадигму совместным обратным обучением с подкреплением (Cooperative Inverse Reinforcement Learning, CIRL) [678]. В этой модели человек и компьютер работают вместе, чтобы максимизировать общую функцию вознаграждения, суть которой изначально известна только человеку.

«Мы думали: какое простейшее изменение можно внести в существующий математический аппарат, чтобы устранить саму конструкцию, порождающую риски глобальной катастрофы? – объяснял Хэдфилд-Менелл. – Какая математическая задача даст то оптимальное решение, которое нам действительно нужно?» [679]

Для Рассела это было не просто легким изменением формулировок, а своего рода шахом и матом – фундаментальным решением проблемы согласования. По масштабу это было сродни открытию Коперника в основах ИИ. Как пояснял Рассел, на протяжении последнего столетия мы пытались создавать машины, способные достигать своих целей. Это подразумевалось практически во всех работах, а вопросы безопасности сводились к тому, как контролировать эти цели и формулировать задачи так, чтобы в них не было лазеек. Рассел предположил, что, возможно, саму идею следует вывернуть наизнанку. «Что, если вместо того, чтобы позволять машинам преследовать их собственные цели, мы потребуем от них добиваться наших целей? – рассуждал ученый. – Пожалуй, именно к этому нам и следовало стремиться с самого начала» [680].

Появление концепции совместного обучения открыло новые горизонты. Исследователи машинного обучения и робототехники стали все чаще обращаться за идеями к детской психологии, педагогике, психологии развития, проектированию интерфейсов и изучению взаимодействия человека с компьютером. Неожиданно целые отрасли знаний оказались не просто полезными, а жизненно важными [681]. Модель сотрудничества – понимание того, что мы совершаем действия, зная, что за нами наблюдают и пытаются разгадать наши намерения, – заставляет нас совершенно иначе взглянуть на поведение как человека, так и машины.

Работа с этими возможностями продолжается, еще многое предстоит узнать. Но исследователи уже сделали несколько ключевых открытий.

Во-первых, когда мы осознаем, что обучаем кого‐то, мы можем делать это гораздо понятнее и эффективнее, чем если бы вели себя естественно. «Модель CIRL мотивирует человека учить, – пишет группа исследователей из Беркли, – а не просто выжимать максимум из награды» [682]. Мы можем не только давать прямые инструкции, но и действовать более информативно, и последовательно. Зачастую мы делаем это автоматически, даже не задумываясь.

К примеру, доказано, что напевный ритм речи («сюсюканье»), который взрослые используют при общении с маленькими детьми, имеет глубокий педагогический эффект. Дети, с которыми так говорят, быстрее овладевают языком. Осознаем мы это или нет, но именно такова наша эволюционная цель [683].

Подобное происходит не только в языке, но и в движениях. Мы интуитивно выстраиваем свое поведение так, чтобы окружающим было легче его «прочитать». Возьмем простую задачу – передать предмет другому человеку. Мы берем вещь не самым удобным для себя хватом, вытягивает руку далеко вперед и замираем. Другой человек понимает, что мы бы никогда не приняли такую позу, если бы не подавали четкий сигнал: «Я хочу передать это тебе» [684].

Специалисты по информатике быстро взяли на вооружение эти открытия из области педагогики и психологии. Главная идея работает в обе стороны: мы хотим вести себя так, чтобы машины нас понимали, и мы хотим, чтобы машины