Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Во-вторых, мы хотим иметь способность учиться, даже если не дойдем до конца. Шахматная партия, прерванная до завершения, должна дать нам что‐то. Если мы были в шаге от мата или позиция казалась безнадежной, это все еще означает, что нам нужно было делать что‐то по-другому, невзирая на то, что нет ни потери, ни наказания, которое, как нам кажется, мы заслужили. Подобным же образом игра, в последние секунды выигранная или проигранная благодаря невозможному, невероятному, непредвиденному событию, не означает, что наши ожидания были неверными. Возможно, мы действительно были на пути к победе. Суждения исключительно по результату не обязательно имеют смысл, особенно в ситуациях, которые до какой‐то степени зависят от удачи.

В-третьих, в идеале мы хотим чему‐то научиться не только по факту, но в процессе. Это особенно важно для человека. Во время многих переломных моментов и критических целей в жизни – скажем, поступить в колледж, вырастить детей или удачно уйти на пенсию, – у нас есть только один шанс. И многих ошибок – провального среднего балла, расползающейся талии, ухудшающихся отношений – можно было бы избежать, если бы мы могли понять, что что‐то идет не так и сменить курс, пока не стало слишком поздно. И если мы, люди, учимся методом проб и ошибок, то нам, к счастью, не нужно ждать конца попытки, чтобы получить знания.

Как объясняет Саттон, каждый из этих факторов усложняет теорию ожиданий. «Очевидно, что мы можем попытаться не обращать на все эти вещи внимания, считать их ничего не значащими мелочами, но я думаю о них как о ключах, – говорит он. – Это подсказки самой природы о том, как нам строить теорию» [349].

Как выяснилось, Саттон первым разгадал эти намеки.

Открытие, которое он сделал, размышляя о прогнозах, состоит в следующем. По мере того как вы продвигаетесь к неопределенному будущему, у вас есть что‐то вроде «текущих ожиданий» о том, насколько оно многообещающее. В шахматной партии это могут быть шансы, которые вы даете себе на победу. В компьютерной игре – ожидаемый успех или количество очков, которые надеетесь получить. Эти предположения со временем изменяются и в целом становятся более правильными по мере того, как вы приближаетесь к тому, что пытаетесь предсказать. (Прогноз погоды на выходные почти всегда более точен в четверг, а не в понедельник. Расчетное время прибытия из аэропорта становится точнее по мере приближения к дому.) Это означает, что в целом, по мере изменения наших ожиданий, мы получаем разницу между следующими один за другим ожиданиями, и каждое из различий – это возможность для обучения. Саттон назвал их врéменными различиями (temporal differences, TD), или ошибками врéменных различий. Когда происходит одно из них, последняя из двух оценок – это та, которая с наибольшей вероятностью окажется правильной.

Так что, возможно, не нужно ждать истины в последней инстанции, чтобы чему‐нибудь научиться. Может быть, у нас получится извлечь новые знания из самих этих колебаний и отклонений данных. Каждый раз, когда смену ожиданий можно считать ошибкой в предыдущем прогнозе, возникает возможность для обучения: мы извлекаем урок не из той истины, которой еще не существует, а из новой оценки, сделанной чуть-чуть повзрослевшим и ставшим немного более мудрым «я». Как говорит Саттон: «Мы делаем предположение по догадке» [350].

(Он добавляет, как будто взяв эти слова в скобки: «Выглядит несколько опасным, не правда ли?»)

К концу 1980‐х эта идея – Саттон назвал ее методом темпоральных различий или TD-обучением для краткости – превратилась в алгоритм под названием «TD(λ)» (TD-лямбда) для точной настройки прогнозов в свете более поздних прогнозов [351]. Вдохновленный идеями Барто и Саттона аспирант Кембриджа Крис Уоткинс разработал TD-алгоритм под названием Q-обучение, переводивший прогнозы в действия [352]. Он доказал, что Q-обучение всегда «сходится», то есть, пока у системы есть возможность перепробовать каждое действие из каждого состояния столько раз, сколько необходимо, она будет всегда в конечном итоге вырабатывать идеальную функцию значений состояния – идеальный набор ожиданий для этой среды, будь то лабиринт, шахматная доска или что‐то более жизненное. Для теории отрасли это стало знаковым событием – разумеется, степень его значительности зависит от того, к какому типу людей вы принадлежите: к тому, кто подчеркивает «всегда» или «в конце концов».

Теория выглядела прекрасно, но TD-обучение еще следовало проверить на практике. Первое испытание прошло в IBM Research в Нью-Йорке. Молодой ученый по имени Джеральд Тесауро, интересовавшийся компьютерными моделями классического формирования условных рефлексов, в конце 1980‐х и начале 1990‐х работал над использованием нейросетей в игре в нарды. Результаты были многообещающими. Тогда в 1992 году он подключил к своей модели TD-обучение, и она взлетела как ракета [353]. Она получала предположения из догадок, постоянно обучаясь тому, как выглядит выигрышная позиция. «Это первое применение этого алгоритма к сложному нетривиальному заданию, – писал Тесауро. – Обнаружилось, что нейросеть способна с нуля научиться играть в игру на достаточно крепком среднем уровне, что ощутимо лучше, чем показатели традиционных коммерческих программ, и что на самом деле превосходит уровень сопоставимых нейросетей, которые обучались на крупном наборе данных, полученном от экспертов. Получается, что на практике TD-обучение может работать лучше, чем кто‐либо мог ожидать, основываясь на современной теории». К 1994 году его программа TD-Gammon достигла «потрясающего уровня эффективности: последняя версия TD-Gammon сейчас… чрезвычайно близка к лучшим игрокам в мире» [354].

В отрасли уже знали, что программист может написать систему, которая играет лучше, чем он сам: Артур Сэмюэл сделал это с шашками в 1950‐х. Но здесь было кое-что новое: программа играла не хуже любого случайного человека. И она была полностью «самообучающейся»: начала с нуля и прошла настройку, без конца играя с самой собой. Это было великолепной проверкой работоспособности TD-обучения и обеспечило прямой сценарий успеха, которым с удивительно небольшими изменениями воспользовались создатели игровых моделей XXI века, например авторы AlphaZero.

Саттон и другие ученые в активно развивающейся сфере обучения с подкреплением использовали подсказки самой природы. Но теперь пришла их очередь предложить что‐то взамен. В один из наиболее удивительных моментов в истории отрасли математическая структура, выросшая из психологии и нейронауки, была готова снова изменить положение дел.

Нейронная основа прогноза и вознаграждения

В начале 1990‐х, когда Тесауро настраивал свою систему для игры в нарды, молодой ученый-когнитивист по имени Питер Даян, который плодотворно работал в лаборатории Барто и сотрудничал с Уоткинсом над доказательством сходимости алгоритма, перебрался с одной стороны отрасли на другую и словно попал в иной мир. От изучения математических законов темпоральных различий в университете Эдинбурга он перешел в группу нейроученых в институте