Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

К 2008 году анализ человеческих полетов привел к целой лавине успехов. Вертолет научился автономно выполнять непрерывные сальто на месте, фигуру «тик-так» хвостом вниз, мертвые петли (в том числе с пируэтами), фигуру «ураган» (быстрый полет хвостом вперед по нисходящей спирали), полет «на ноже», переворот Иммельмана, агрессивные развороты и даже посадку на авторотации (с выключенным двигателем) [662].

Кульминацией проекта стала попытка выполнить один из сложнейших вертолетных маневров под название «хаос». На тот момент в мире был только один человек, способный его исполнить.

Фигуру «хаос» придумал Кертис Янгблад – легенда мира радиоуправляемых моделей, многократный чемпион США и мира (с 1986 по 2012 год) [663]. Многие считают его величайшим пилотом в истории.

«Тогда я задумался: какой самый сложный маневр я вообще могу изобрести?», – рассказывал Янгблад. Он взял за основу и без того невероятно трудную фигуру «танцующий полет» и добавил к ней безостановочное вращение вокруг своей оси.

На вопрос, сколько пилотов могут стабильно выполнять этот трюк, Янгблад ответил лаконично: ни одного. «Когда‐то я мог это делать, но сейчас уже вряд ли… Если бы меня попросили повторить этот маневр прямо сейчас, без подготовки я бы не справился».

По его словам, проблема еще и в том, что трюк настолько сложен, что оценить его способен только другой профи. «Обычно ты выступаешь на авиашоу, – говорил Янгблад. – Твоя задача – впечатлить толпу. А только понятия не имеет, что ты делаешь. Они не увидят разницы между идеальным „хаосом“ и обычным „танцующим полетом“. Так что нет никакого смысла тратить время на заучивание этого элемента, кроме как ради того, чтобы доказать другим топ-пилотам: да, я действительно могу это сделать» [664].

К лету 2008 года стэнфордский ИИ полностью освоил «хаос», хотя никогда не видел ни одного идеального исполнения – ни от Оку, ни от Янгблада, ни от кого‐либо еще. Программа просто видела, как люди «несли свои пачки журналов к дверцам шкафа». И тогда компьютерный вертолет с размаху распахнул эти дверцы: он раз за разом танцевал в воздухе, вращаясь на 300 градусов в секунду, подобно механическому торнадо [665].

Тем временем метод обратного обучения продолжал развиваться: инженеры искали способы трактовать неоднозначное поведение и создавать более сложные модели мотивации ИИ. В 2008 году аспирант Брайан Зибарт и его коллеги из Карнеги-Меллона применили в алгоритме принципы теории информации. Вместо того чтобы считать каждого наблюдаемого человека идеальным экспертом, они предположили другое: человек с большей вероятностью выбирает те действия, которые приносят наибольшую пользу. Этот принцип («принцип максимальной энтропии») позволяет находить такую систему вознаграждений, которая максимально точно объясняет уже увиденное поведение, но при этом оставляет открытыми все остальные трактовки поведения (не делает лишних допущений).

Зибарт протестировал этот метод на базе данных, содержащей сотни тысяч километров поездок двух десятков реальных таксистов из Питтсбурга, чтобы понять их дорожные предпочтения. Модель научилась безошибочно предсказывать маршрут, который выберет конкретный водитель до нужно точки. Но что еще поразительнее – программа могла догадаться, куда едет водитель, лишь на основе того, по каким улицам он уже проехал. (Как отмечает Зибарт, это позволяет навигатору предупреждать водителя о пробках на его любимом маршруте, даже если тот еще не ввел пункт назначения.) [666]

В последнее десятилетие произошел настоящий бум исследований в области так называемого кинестетического обучения в робототехнике. В этом методе человек берет механическую руку робота и физически направляет ее, выполняя задачу. Система должна сама понять суть задачи (цель), чтобы в будущем свободно выполнять ее в слегка изменившихся условиях [667]. В 2016 году аспирантка Челси Финн из Беркли добавила в алгоритм IRL глубокие нейросети. Это позволило ИИ создавать функции вознаграждения любой сложности и избавило инженеров от ручной настройки характеристик [668]. Всего после 20–30 демонстраций ее робот научился выполнять сугубо человеческие действия (которые невозможно запрограммировать цифрами): например, аккуратно складывать тарелки в сушилку или пересыпать миндаль из одной чашки в другу, не проронив ни зернышка. Справедливо отметить, что сегодня мы ушли далеко вперед от тех времен, когда машины умели делать лишь то, что мы могли описать строгим языком математики и кода.

Узнать с первого взгляда: обучение с помощью обратной связи

Обратное обучение с подкреплением оказалось удивительно мощным методом. Оно позволяет закладывать в систему сложные цели так, как это было бы невозможно, если бы нам пришлось программировать систему внешних вознаграждений вручную. Однако у традиционного подхода к такому обучению есть проблема: он требует участия эксперт, способного продемонстрировать (пусть и не идеально) желаемое поведение. Для трюков на вертолете нужен опытный пилот, для такси – водитель, для расстановки посуды или пересыпания орехов – человек. Существует ли другой путь?

В жизни есть много вещей, которые трудно показать, но сравнительно легко оценить. Я могу быть настолько никудышным пилотом радиоуправляемого вертолета, что даже не смогу поднять его в небо, но я точно узнаю впечатляющую фигуру высшего пилотажа, когда ее увижу. Как отмечал Кертис Янгблад, все сводится к тому, чтобы произвести впечатление на непрофессиональную аудиторию.

Сможет ли система вычислить нужную функцию вознаграждения исключительно на основе моей обратной связи – опираясь нат то, как я оцениваю различные варианты ее действий? Если алгоритм на это способен, мы получим еще более универсальный инструмент постановки задач для ИИ. Мы сможем «настраивать» машины даже в тех случаях, когда сами не умеем делать то, что требуем от них. В идеальном мире достаточно будет просто уметь узнавать нужный результат, когда мы его видим.

Идея невероятно заманчива. Остается только два вопроса: возможно ли это технически? И безопасно ли это?

В 2012 году Ян Лейке заканчивал магистерскую диссертацию во Фрайбургском университете (Германия). Он занимался верификацией программного обеспечения – разрабатывал инструменты для автоматического анализа программ, чтобы определять, отработают ли они без сбоев [669]. «Тогда я понял, что мне безумно нравится заниматься исследованиями и у меня это получается, но я совершенно не представлял, чему посвятить жизнь», – вспоминал он [670].

Затем Лейке прочел книгу Ника Бострома и Милана Цирковича «Глобальные риски катастроф» (Global Catastrophic Risks), где затрагивалась проблема безопасности ИИ. После этого он погрузился в дискуссии на форуме LessWrong и изучил статьи Элиезера Юдковского. «Я подумал: над этим работает так мало людей! Может, именно этим мне и стоит заняться? Выглядит захватывающе, а сделано пока немного».

Лейке решил обратиться за советом к Маркусу Хаттеру, специалисту по информатике из Австралийского национального университета. «Я просто нашел его почту и написал: хочу получить PhD по безопасности ИИ, не могли бы