Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

и Эндрю Барто из университета Массачусетса в Амхерсте исследовали этот вопрос с философской точки зрения, задав вопрос: «Откуда вообще берутся награды?» [521] Они отметили, что оценка того, хорошо или плохо идут дела, происходит в мозге, а не в окружающей среде. «Этот взгляд позволяет понять, – пишут они, – что сигналы вознаграждения всегда генерируются внутри животного, скажем, его дофаминовой системой. Таким образом, все награды являются внутренними» [522].

Не ориентироваться на заданный сверху сигнал, а играть в игру на Atari, используя лишь пиксели на экране и интерпретируя их по своему усмотрению, – это, в конце концов, и есть суть компьютерных игр.

В Portal, одной из самых известных игр 2000‐х, искусственный интеллект постоянно обещает игроку торт за прохождение испытаний. Однако на полпути игрок находит зловещее граффити с фразой, ставшей культовой: «Тортик – это ложь». В самом деле, никакого торта в конце нет. Разумеется, этот знаменитый обман нивелируется не только тем, что в лучшем случае мы увидели бы лишь цифровую картинку десерта, но и тем, что мы играем без иллюзий получить что‐то, кроме удовольствия от прогресса, успехов и исследования мира.

Мы не используем мерцающие огни на экране как данные для получения «настоящей» награды в реальном мире. Мерцающие огни и те реакции, к которым они нас побуждают, – это и есть награда. И, судя по тому, сколько времени мы тратим на видеоигры, этого более чем достаточно.

Скука и зависимость

Внутренняя мотивации в обучении с подкреплением – это не только источник эффективного поведения агентов. В ней можно разглядеть искру человеческого желания познавать мир, исследовать и узнавать, что будет дальше. Но здесь отражаются и человеческие слабости – скука и привыкание.

Я спросил Дипака Патака, имеет ли смысл говорить о скуке в контексте искусственного интеллекта. Может ли агент заскучать?

«Безусловно», – ответил он.

На первом уровне Super Mario Bros. есть пропасть, которую агент почти никогда не может преодолеть. Для этого нужно удерживать кнопку прыжка 15 кадров подряд, а научиться длинной последовательности точных действий гораздо сложнее, чем коротким и гибким маневрам [523]. В результате агент добирается до края ямы и просто… разворачивается.

«Он физически не может перепрыгнуть, – объяснял Патак, – так что для него это тупик конца мира». Но игра устроена так, что обойти препятствие невозможно. Агент застревает и учится ничего не делать.

Патаку доводилось наблюдать и более общие случай апатии. После долгой игры в Super Mario Bros. его агент «просто начал останавливаться в начале… Поскольку нигде не было наград, а ошибки предсказания случались все реже, он научился бездействовать и никуда не идти». Агент просто слонялся на старте, не имея мотивации что‐либо делать.

В этом есть какой‐то злой рок. Человек, которому надоела игра, может бросить ее – и обычно так и делает. Мы можем сменить игру или выключить компьютер и заняться чем‐то другим. Агент же (и это кажется жестоким) заперт внутри игры, хотя у него больше нет стимула в нее играть.

С момента появления видеоигр существует и область знаний, изучающая, почему в них весело играть и что делает одну игру увлекательнее другой. Разумеется, тут задействованы как экономические, так и психологические факторы [524].

Мне кажется, что обучение с подкреплением дало нам практический критерий для оценки не только сложности игры (сколько времени потребуется агенту, чтобы стать профессионалом), но и ее интересности (как долго агент играет, не теряя мотивации, и не предпочтет ли он ей другую игру). Вполне возможно, что в следующие десятилетия целевой аудиторией компьютерных игр станут внутренне мотивированные агенты искусственного интеллекта.

Когнитивист Дуглас Хофштадтер в своей книге «Гёдель, Эшер, Бах: эта бесконечная гирлянда» [525], вышедшей в 1979 году и получившей Пулитцеровскую премию, предсказывал будущее игрового программирования, связывая умение играть с мотивацией и интеллектом:

Вопрос: Будут ли созданы шахматные программы, способные обыграть кого угодно?

Возможный ответ: Нет. Могут быть созданы программы, способные обыграть кого угодно, но это будут не просто шахматные программы. Это будут программы с общим интеллектом, и, как и у людей, у них будет характер. «Хотите сыграть партию в шахматы?» – «Нет, шахматы мне надоели. Давайте лучше поговорим о поэзии…»

Сегодня эта цитата выглядит до смешного устаревшей. Постфактум легко рассуждать, зная, что менее чем через 20 лет шахматный компьютер IBM Deep Blue победит чемпиона мира Гарри Каспаровым [526]. Deep Blue была исключительно шахматной программой: она специализировалась только на шахматах. У нее не было никакого общего интеллекта, и она не стремилась обсуждать литературу.

Но, возможно, в этом высказывании есть и глубокая истина. Современные передовые системы обучения с подкреплением действительно универсальны – по крайней мере, в мире игр. Deep Blue такой не была. А вот DQN может с одинаковым успехом играть в десятки игр Atari. AlphaZero одинаково искусна и в шахматах, сёги и го.

Более того, общему искусственному интеллекту (ОИИ), способному обучаться в постоянно меняющемся реальном мире, вероятно, действительно потребуется архитектура, построенная на внутренней мотивации. А такая архитектура неизбежно заставит его заскучать, если он будет заниматься одним и тем же слишком долго.

Противоположность скуки – зависимость. Не отстраненность, а темная сторона увлеченности, патологическое повторение или упорство. И здесь обучение с подкреплением демонстрирует модели поведения, пугающе напоминающие человеческие.

Исследователи внутренней мотивации говорят о так называемой «проблеме шумного телевизора». Что, если в среде есть неистощимый источник случайности или новизны? Не окажется ли внутренне мотивированный агент бессилен перед ним?

Представьте, что где‐то в мире есть источник непредсказуемого визуального «шума». В классическом примере это телевизор с помехами («белыми шумом»), но его роль могут сыграть языки пламени, падающие листья или бегущая вода. Каждая новая конфигурация света и тени становится бесконечным калейдоскопом для любопытного наблюдателя. Теоретически агент, столкнувшийся с таким явлением, должен мгновенно замереть на месте.

Большинство простых игр Atari 1970–80‐х годов не содержат таких источников визуальной случайности, поэтому с «проблемой шумного телевизора» на правктике долго сталкивались. Патак, Бурда и Эдвардс решили воплотить этот мысленный эксперимент в жизнь. Они создали простую игру с трехмерным лабиринтом, где агенту нужно было найти выход. Но в одной из версий на стене висел телевизор, и агент мог переключать каналы. Что же произошло?

Как только агент добрался до телевизора, исследование лабиринта прекратилось. Агент встал перед экраном и начал щелкать пультом. Щелк – летящий самолет. Щелк – милые щенки. Щелк – человек за компьютером. Щелк – машины на улице. Агент купался в волнах новизны и неожиданности. С места он больше не сдвинулся.

Визуальная информация – не единственный опасный источник случайности; им может