Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Аспиранты в целом – это группа людей с высоким уровнем депрессии и тревожности, в которой бушуют настоящие эпидемии прокрастинации [461]. Они все равно что голуби на дорожке для боулинга у Скиннера: награда в виде шапочки выпускника ждет их после идеального страйка когда‐нибудь через пять лет. Такая система, как нам уже известно, не работает для животных, и для алгоритмов обучения с подкреплением она тоже работать не будет.

Не сработало и с человеком. Нужно было что‐то другое. Лидер разбил пятилетнюю программу на сотни маленьких уровней. За каждую задачу, приближающую его к диплому, он начислял себе баллы, рассчитанные по научной формуле, с помощью которой присуждали очки авторам эссе. Для борьбы с плохими привычками он использовал браслет Pavlok, который бил током. Если Лидер заходил на развлекательные сайты не вовремя, браслет давал разряд. Смешно, но это не избавило его от желания смотреть видео, зато выработало рефлекс мгновенно закрывать вкладку.

В итоге Лидер был одновременно и ученым, и подопытным, поэтому имел уникальное преимущество в вопросе формирующего вознаграждения. Эксперимент удался: он защитил диссертацию, подтвердив эффективность своих методов, и теперь руководит собственной лабораторией.

За пределами внешнего подкрепления

Скиннер считал вымыслом не только волю отдельного человека. Для него, в сущности, вся история человеческой цивилизации была историей структур вознаграждения. Он смотрел на это с любопытством и оптимизмом и даже написал утопический роман «Второй Уолден» об идеальном обществе, построенном на принципах бихевиоризма.

Тем не менее у любого, кто наблюдал за детьми или животными, невольно возникает подозрение, что желание получить награду – не единственная причина наших поступков. Мы играем в игры, которые придумываем сами, не получая никаких ощутимых призов. Мы переворачиваем камни и взбираемся на горы, чтобы посмотреть, что там можно найти. Мы исследуем. Мы игривы и любопытны. Короче говоря, нас мотивируют не только внешние, но и внутренние вознаграждения.

Оказалось, что эта мысль становится все более популярной в мире машинного обучения.

6. Любопытство

Для того, чтобы нетренированный детский мозг стал интеллектуальным, потребуются и дисциплина, и находчивость. Пока что мы думали только о дисциплине.

Алан Тьюринг [462]

Весной 2008 года аспирант Марк Беллемаре и информатик Майкл Боулинг из университета Альберты прогуливались по пляжу Барбадоса. У Боулинга была идея.

Исследования обучения с подкреплением тогда проводил один ученый, который с нуля делал свою уникальную игру, а потом вручную настраивал для нее удачную систему [463]. Боулинг же размышлял о создании единой среды, которую каждый мог бы использовать, – целой библиотеки игр. Причем не каких‐нибудь рандомных, а настоящих – классических видеоигр 1970‐х и 1980‐х, в которые играли на Atari 2600?

«Я посчитал эту идею глупее некуда [464], – вспоминал Беллемаре. – Но спустя три изменил свое мнение». Более того, идея настолько ему понравилась, что стала темой диссертации, а Боулинг – научным руководителем.

Цель проекта могла показаться несколько безумной. И не только из-за колоссального объема работы по созданию «бестиария» видеоигр, который ученые назвали Аркадной обучающей средой (Arcade Learning Environment, ALE), но и из-за череды сложнейших задач, которые она поставила перед всей отраслью [465]. Идея исследователей заключалась в том, чтобы создать единую самообучающуюся систему, способную играть не в одну, а сразу во все шестьдесят игр. Отрасль была к этому совершенно не готова.

Главная проблема состояла в том, что игровые среды, создаваемые прежде по индивидуальным заказам, обычно описывали агенту мир в упрощенных, отфильтрованных терминах, предоставляя ему уже готовые полезные данные. Например, в задаче с балансирующей тележкой система получала бы на вход точные координаты тележки, ее скорость, угол наклона шеста и так далее. В двумерном мире с деревьями и хищниками системе сразу сообщили бы ее местоположение, уровень здоровья, где находится еда и есть ли поблизости враги. Эти единицы информации называются «ключевыми характеристиками».

ALE же, напротив, предлагала нечто более сложное и менее пригодное для немедленного использования – набор пикселей на экране. И все. Каждая игра отличалась от другой не только правилами, но и тем, как именно пиксели передавали полезную информацию. При запуске обучаемой системы в новую игру ей приходилось разбираться во всем с нуля: «эти пиксели мигают, когда я получаю очки», «те появляются перед моей смертью», «а эти в центре сдвигаются влево, когда я жму клавишу „влево“ – о, может быть, это я и есть!». Исследователям пришлось бы либо искать универсальные способы извлечения полезных паттернов из происходящего на экране (подходящие для всех шестидесяти игр), чтобы система могла отслеживать свое состояние, либо разрабатывать алгоритм, способный находить смысл во всем на лету. Так возникла проблема «выделения признаков».

Беллемаре начал экспериментировать, подключая различные алгоритмы извлечения признаков к стандартным системам обучения с подкреплением и запуская их в игры. Результаты были далеко не впечатляющими. Тем не менее, к его удивлению, опубликовать их оказалось несложно – хотя бы потому, что рецензенты были потрясены объемом проделанной работы по воссозданию среды игр Atari. «Самое забавное, – рассказывал Беллемаре, – порой рецензенты так мне и говорили: „Ты сделал нечто потрясающее с Atari. Я просто не могу отклонить твою статью“. Система была настолько масштабной, что качество результатов уже не имело значения. Люди говорили: „Ух ты, ты и вправду это сделал!“»

Фактически Беллемаре с коллегами воздвигли гору, и теперь предстояло найти способ на нее взобраться.

Получив докторскую степень в 2013 году, Беллемаре переехал из Эдмонтона в Лондон, чтобы работать в компании DeepMind [466]. Там команда под руководством Владимира Мниха увлеченно работала над идеей использовать нейросети глубокого обучения (похожие на AlexNet, блестяще выступившую на конкурсе ImageNet годом ранее) в задачах обучения с подкреплением. Если глубокие нейросети могут анализировать десятки тысяч необработанных пикселей и понимать, что перед ними – рогалик, банджо или бабочка, возможно, они справятся и с выделением признаков, необходимых для осмысления происходящего на экране Atari.

Беллемаре вспоминает слова кого‐то из группы: «У нас есть сверточные нейросети. Они прекрасно показали себя в классификации изображений. Что, если заменить ваш несколько топорный механизм извлечения признаков такой нейронной сетью?»

Беллемаре принял эту мысль не сразу. «Честно говоря, я долго не верил… Идея перцептивного обучения с подкреплением выглядела очень, очень странно. И, знаете, я относился со здоровой долей скептицизма к возможностям нейронных сетей».

Но вскоре ему пришлось изменить свое мнение.

Просто добавив глубокое обучение к классическому алгоритму обучения с подкреплением и протестировав его на семи играх Atari, Мних сумел побить рекорды предыдущих алгоритмов в шести из них. Более того, в