Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

переписывался с гениальным студентом, получавшим в Стэнфорде образование по психологии. Когда к команде присоединился Барто, Клопф предложил: «Это действительно очень умный парень, вам стоит взять его в проект» [323]. Умного парня звали Ричард Саттон, он был еще подростком, когда присоединился к Барто в Амхерсте и стал его первым аспирантом.

Я спросил Барто, были ли какие‐то предзнаменования того, что должно было произойти. «Мы ни о чем и понятия не имели, – ответил он. – Мы даже не подозревали». На средства, полученные Клопфом от военно-воздушных сил, Саттон и Барто начали сотрудничество, продлившееся сорок пять лет и, в сущности, породившее новую отрасль на пересечении нейрофизиологии, бихевиоризма, программирования и математики. Ее назвали обучением с подкреплением, а их имена оказались навсегда связаны вместе в библиографических списках работ по искусственному интеллекту – «Барто и Саттон», «Саттон и Барто» – и стали ассоциироваться с хрестоматийными учебниками отрасли, соавторами которых они были. Даже можно сказать, что эти имена превратились в кодовое слово для обозначения самого обучения с подкреплением [324].

Я встретился с Барто в кампусе Массачусетского университета, почетным профессором которого он сейчас является. «Счастливо ушел на пенсию, – сказал он. – Честно говоря, я рад, что не нахожусь в центре той бури слухов и восторгов по поводу искусственного интеллекта и подкрепления».

Я сказал Барто, что буду очень рад поговорить об истории обучения с подкреплением (RL, как его часто называют) как отрасли и конкретно о его применении для безопасности, принятия решений и моделирования когнитивных способностей человека.

– Так сколько времени у вас есть? – прервал он меня.

– Почти целый день, – ответил я.

Столько мы и проговорили.

Гипотеза о вознаграждении

Барто и Саттон взяли идею Гарри Клопфа об организме, стремящемся к максимуму, и придали ей конкретную математическую форму. Представьте, что вы можете получить определенное вознаграждение. Оно доступно, если вы выполните конкретные действия и достигнете конкретного состояния. Ваша работа – получить максимальное вознаграждение, то есть самое большое количество очков, какое сможете набрать.

Представьте, что при этом вы в лабиринте – тогда вы можете двигаться на север, запад, юг или восток, а вознаграждение получаете, когда доберетесь до выхода (за вычетом небольшого штрафа за превышение времени). Или на шахматной доске – тогда вы двигаете фигуры и получаете по одному очку, когда ставите сопернику мат (и половину очка за ничью). Или на фондовом рынке – тогда вы покупаете и продаете, а ваше вознаграждение измеряется долларовой стоимостью вашего портфеля акций. Для усложнения этих сценариев нет никаких границ до тех пор, пока вознаграждения остаются скалярными, то есть сопоставимыми, измеримыми, в единой валюте. Это может быть даже национальная экономика, где придется принимать законодательные акты и заниматься дипломатией, а вознаграждением будет рост ВВП в течение продолжительного времени.

Структура обучения с подкреплением показала себя настолько общеприменимой, что привела к идее, которую назвали «гипотезой о вознаграждении»: «Все, что мы подразумеваем под целями и стремлениями, можно описать как максимизацию ожидаемого накопленного скалярного вознаграждения» [325].

«Это почти что философское понятие, – говорит Ричард Саттон. – Но вы на это покупаетесь» [326].

Разумеется, не каждый принимает эту идею с такой готовностью. В спорте, в настольных и компьютерных играх, в финансах в самом деле может существовать такое скалярное число, единая валюта (буквально или в переносном смысле) для измерения результатов, но можно ли этот подход применить к такой сложной и многообразной вещи, как жизнь человека или даже животного? Мы часто вынуждены принимать решения, результаты которых напоминают, образно говоря, яблоки и апельсины. Задержимся ли мы на работе, улучшив отношения с начальником, но подвергнув испытанию терпение нашей второй половины? Предпочтем ли жизнь, полную достижений, жизнь, полную приключений, жизнь, полную связей с другими людьми, или путь духовного роста? Например, философ из Оксфордского университета Рут Чанг несколько десятков лет утверждала, что ничто так не характеризует человеческую природу, как несоизмеримость имеющихся у нас мотивов и целей. Мы просто не можем сделать жизненно важный выбор, взвесив возможные альтернативы и приняв решение о том, что будет лучше. Иначе в мире не было бы места морали – только чистый разум. Не было бы возможности придавать вещам смысл и развивать личность [327].

Сам Саттон допускал, что гипотеза о вознаграждении, «возможно, в конце концов окажется неверной, но она так проста, что нам придется ее опровергнуть, прежде чем задумываться о чем‐то более сложном».

Даже если предварительно принять концепцию максимизации вознаграждения и соразмерность скалярных наград, мы обнаружим, что довести гетеростаз до максимума сложнее, чем кажется. Проблема обучения с подкреплением сопряжена и с философскими, и с математическими трудностями.

Первая проблема состоит в том, что наши решения связаны друг с другом. Здесь обучение с подкреплением немного отличается (и это отличие имеет значение!) и от неконтролируемого обучения (основанного на векторной презентации слов, о которой мы говорили в главе 1), и от контролируемого (используется везде: от конкурса ImageNet до распознавания лиц и предсказания риска рецидивизма). При установке параметров последних каждое решение принимается само по себе. Вашей системе показывают изображение – скажем, гриба лисички обыкновенной – и просят отнести его к определенной категории. Система может дать правильный ответ, может ошибиться, в случае ошибки ее параметры могут быть настроены, но в любом случае вы просто вытягиваете наугад еще одну фотографию из коллекции и продолжаете показ. Данные, поступающие на вход, – это то, что статистики называют «н. о. р.», – независимые и одинаково распределенные. Не существует никакой причинно-следственной связи между тем, что мы видим, что делаем и что увидим потом.

При обучении с подкреплением – в лабиринте, шахматной партии, да и в самой жизни – мы не можем принимать решения в вакууме. Каждое решение порождает контекст, в котором принимается следующее решение, и этот контекст может постоянно изменяться. Если мы передвинем шахматные фигуры определенным образом, то значительно ограничим типы позиций, с которыми можем столкнуться, и типы стратегий, которые могут оказаться полезными для дальнейшей игры. В существующем мире – виртуальном или реальном – движению неизбежно присуще одно свойство: любое действие, которое мы предпринимаем – свернуть на север, заглянуть в лицо любимому, провести зиму во Флориде, – определяет будущие входные данные, на время или навсегда. Если мы жертвуем ферзем, этой фигуры у нас не будет до конца игры. Если мы прыгаем с крыши, возможно, мы больше никогда не сможем прыгать. Если мы плохо с кем‐то поступили, мы можем потом всю жизнь переживать, как этот человек теперь поведет себя с нами, и можем никогда не узнать, как бы он повел себя, если бы мы были добрее.

Вторая проблема обучения с подкреплением