Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

и меньше того, за что могут наказать. Этого можно добиться, попытавшись понять, как работает мир («основанное на модели обучение с подкреплением»), или доводя до совершенства интуицию («безмодельное» обучение). Можно узнать, сколько вознаграждений приносит то или иное состояние или действие («оценочное» обучение), или понять, какие стратегии работают лучше других (обучение, связанное с политикой). Как бы то ни было, все подходы строятся вокруг идеи о том, чтобы сперва прийти к успеху случайно, а потом чаще использовать рабочие методы.

Как выяснилось, некоторые задачи согласуются с этим подходом лучше, чем другие.

В таких играх, как Space Invaders, на вас обрушиваются полчища врагов, и все, что вам остается – это двигаться направо или налево и стрелять. Случайные нажатия на клавиши, возможно, позволят уничтожить несколько врагов, которые принесут некоторое количество очков. Первые очки можно использовать для обучения, что усилит определенные схемы поведения и разработает лучшие стратегии. Например, вы поняли, что выстрелы приносят очки, поэтому стреляете чаще. Такие игры имеют «плотную» систему вознаграждений, поэтому в них достаточно легко научиться играть.

В других играх, скажем, в шахматах, вознаграждение дается гораздо позже, но оно точно есть. Шахматная партия так или иначе заканчивается через несколько десятков ходов, а правила не дадут сделать больше пары сотен ходов. Даже если вы не имеете ни малейшего понятия о стратегии и двигаете фигуры случайным образом, все равно задолго до конца партии поймете, победите ли, проиграете или сыграете вничью.

Существует ряд ситуаций, когда получение какого‐либо вознаграждения сродни чуду. Скиннер, разумеется, обнаружил их в первую очередь, пытаясь вознаградить птицу за то, что она забросила крошечный мяч на миниатюрную дорожку для боулинга. Голубь, который понятия не имел, в какую игру играет, мог провести годы, вырабатывая правильное поведение, если бы, конечно, за это время не умер с голоду.

Все вышесказанное справедливо и для механических «учеников». К примеру, чтобы человекоподобный робот пнул футбольный мяч в ворота, могут потребоваться десятки тысяч движений в десятках шарниров, и все они должны быть идеально скоординированы. Трудно себе представить робота, который двигает десятками своих шарниров случайным образом, чтобы встать прямо, не говоря уж о том, чтобы осмысленно контактировать с мячом и посылать его в ворота.

Исследователи обучения с подкреплением называют это проблемой разреженных вознаграждений, или проблемой разреженности. Если вознаграждение явно выражено в конечной цели или в чем‐то достаточно близком, следует просто ждать, пока случайные нажатия на кнопки или блуждание не приведут к желаемому результату. Математика доказывает, что большинство алгоритмов машинного обучения в конце концов до него доберутся, но это может случиться намного позже взрыва Солнца. Если вы пытаетесь натренировать программу для игры в го так, чтобы она могла победить чемпиона мира, и даете ей одно очко каждый раз, когда чемпион сдается, и ни одного очка в ином случае, результата придется ждать очень долго.

Проблема разреженности имеет последствия для безопасности. Будьте осторожны, если когда‐нибудь в будущем будете разрабатывать сверхумный искусственный интеллект с широким набором возможностей, использующий эпсилон-жадный алгоритм обучения с подкреплением, и решите вознаграждать его одним очком, если он вылечит рак, и не давать ни одного очка в ином случае. Ему потребуется перепробовать множество случайных методов, прежде чем он получит первое вознаграждение. Многие из них могут быть просто отвратительными.

В разговоре с Майклом Литтманом из Брауновского университета, посвятившим всю свою жизнь работе в области обучения с подкреплением, я спросил, был ли его исследовательский интерес к подкреплению полезен ему как родителю. В голову Литтману сразу же пришла проблема разреженности. Он вспомнил, как шутил с женой об использовании разреженных вознаграждений для их сына. «Давай так: пока ты не заговоришь по-китайски, мы не будем тебя кормить! Прекрасная мотивация! Посмотрим, как она работает! – Тут Литтман рассмеялся. – Моя супруга довольно приземленный человек… Она ответила: „Нет, в такие игры мы не играем!“» [403]

Разумеется, Литтман, как и Скиннер, знал, что в эту игру не стоит ввязываться. Проблема разреженности заставила сообщество исследователей обучения с подкреплением совершить экскурс в прошлое, во времена Скиннера, и они достаточно прямолинейно восприняли его советы [404]. В частности, идеи о формировании навыков привели к двум отдельным, хотя и перекликающимся, направлениям мысли: о последовательности режимов и о средствах поощрения, или стимулах.

Важность последовательности

Главное открытие формирования навыков в том, что для создания сложного поведенческого комплекса необходимо рационально вознаградить более простое поведение. Это применимо как к животным, так и к людям. «Сначала нужно научиться ходить, а потом уж бегать», – говорим мы. Эта расхожая фраза описывает больше граней человеческого опыта, чем можно назвать или сосчитать, и при этом остается чистой правдой.

Поразительная, характерная именно для человеческой жизни особенность состоит в том, что первые несколько лет мы передвигаемся по миру – и в прямом, и в переносном смысле – в ходунках, запуская свои мячики – буквально и метафорически – по дорожке с бортиками. Многие животные сразу сталкиваются со сложностью жизни во всей ее полноте. Например, некоторые дикие звери должны уметь убегать от хищников уже через несколько часов после рождения. Людям же требуется несколько лет, чтобы обучиться владеть своим телом. А к тому времени, когда нам приходится самим «добывать себе пропитание», наша физическая форма нередко «переваливает за пик».

Что отличает жителей XXI века от их пещерных предков? Это, прежде всего, не интеллектуальная мощь, а правильный режим. Более того, Скиннер считал, что мы не должны так быстро выносить суждения об умственных способностях животных. С правильным режимом они, возможно, могут поразить нас и превзойти наши представления о том, на что способны их виды. То же самое можно сказать и про людей.

Как выразился Скиннер, если экспериментатор просто ждет, пока сформируется сложный комплекс поведения, прежде чем начать выдавать поощрения, то очень трудно проверить, может ли животное демонстрировать такое поведение вообще.

«Здесь, скорее, проверяются способности экспериментатора, а не участвующего в опытах существа. Опасно утверждать, что существо данного вида или возраста не может решить стоящую перед ним задачу. Последние пять лет при использования правильного режима подкрепления голуби, крысы и обезьяны делали такие вещи, какие представители их видов не делали никогда. Не то чтобы их предки не были способны на это, просто природа никогда не предлагала эффективную последовательность режимов [405]».

Трудно переоценить, до какой степени наша жизнь и весь мир сформированы именно этой «эффективной последовательностью режимов». Мы приходим к тому, что органично включены в эту систему и считаем опутывающие нас канаты «естественными», хотя это не так. Природа просто существует. Она никоим образом не пытается нами