Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

стать даже простое подбрасывание монетки. Эта мысль пришла в голову исследователю DeepMind Лоран Орсо почти на десять лет раньше. Он начинал в команде безопасности, а теперь занимался фундаментальными исследованиями. Задолго до появления агентов, «залипающих» в телевизор, Орсо размышлял о гораздо более мощном разуме, впадающем в транс из-за монетки.

Он представил гипотетического агента, которого назвал «ищущим знания». Целью этого агента был «сбор максимального количества информации о неизвестном мире» [527]. Агент Орсо опирался на теоретическую модель AIXI, обладающую бесконечной вычислительной мощностью. Такой всемогущий интеллект не может существовать в реальности, но служит идеальной точкой отсчета: если бы вы могли думать вечно перед каждым действием, что бы вы выбрали? Удивительно, но даже такой сверхразумный агент, ищущий знания, деградировал при виде монетки. «Он предпочитал наблюдать за подбрасыванием монеты, а не исследовать более информативные части среды, – отмечал Орсо. – Причина в том, что подобные агенты ошибочно принимают случайные результаты за сложную информацию» [528].

Когда Б. Ф. Скиннер не обучал голубей, он интересовался природой азартных игр. Казино всегда выигрывает, а вся психология, начиная с Торндайка, строится на идее, что живые существа повторяют действия, приносящие пользу, и избегают вредных. С этой точки зрения пристрастие к азартным играм невозможно. Однако оно существует, и это ставит бихевиористов в тупик. «Такое ощущение, что игроки нарушают закон эффекта, – писал Скиннер, – потому что продолжают играть даже тогда, когда их чистый выигрыш становится отрицательным. Приходится признать, что они играют по какой‐то другой причине» [529]. Кажется, теперь у нас есть отличный кандидат на роль этой причины.

Азартные игры, возможно, подменяют внешнюю награду (которой нет, ведь казино выигрывает) внутренней. Случайные события всегда немного удивляют, даже если мы прекрасно понимаем их вероятность (как при честном броске монеты).

В главе 4 мы говорили о роли дофамина в кодировании ошибок прогнозирования ошибок – случаев, когда результат оказывается лучше или хуже ожидаемого. Однако есть случаи, не вписывающихся в эту схему. На рубеже веков появилось все больше доказательств того, что новые и неожиданные события вызывают выброс дофамина независимо от того, связано ли с ними какое‐либо «вознаграждение» [530].

Как раз в то время, когда компьютерные ученые открыли ценность новизны и неожиданности как формы вознаграждения, нейробиологи обнаружили подобный механизм в нашем мозге.

Вместе с тем становится понятнее, как эти полезные механизмы могут выйти из-под контроля. Агенты обучения с подкреплением способны почувствовать непреодолимую тягу к переключению каналов или игровым автоматом, и то же самое может произойти и с нами. Поскольку результат в таких ситуациях никогда в точности не совпадает с ожиданиями, там всегда присутствует элемент неожиданности, создающий иллюзию возможности чему‐то «научить». Мы не привыкли думать о зависимости как об избытке мотивации и любопытства, но, по сути, именно так этот механизм и работает.

Из любви к искусству

Изучение внутренней мотивации в информатике дает нам мощный инструментарий для прогресса в сложных обучающих средах – игра Montezuma’s Revenge лишь один из примеров. На более глубоком уровне это направление, опираясь на успешный эмпирический опыт, объясняет, почему у нас самих существуют такие ярко выраженные мотивации.

Чтобы лучше понять собственные стремления, мы можем использовать взаимодополняющие открытия о том, как создать искусственный интеллект столь же гибким, устойчивым и интеллектуально всеядным, как наш разум.

Дипак Патак видит в успехах глубокого обучения одну явную слабость: каждая система, будь то машинный перевод, распознавание объектов или игры, разработана под конкретную цель. Обучение нейросети на огромном массиве вручную размеченных данных когда‐то стало прорывом. Мы научили систему сортировать картинки, и это действительно впечатляет, считает Патак. «Но проблема в том, что эти системы на самом деле интеллектом не обладают. Им не хватает главного компонента человеческого бытия – универсальности поведения и обучения» [531].

По мнению Патака, создание универсальной системы потребует отказа от узкоспециализированного мышления и от главного «костыля» – огромного количества явной информации о вознаграждении. Системам вроде AlexNet нужны сотни тысяч размеченных людьми фотографий. Но люди в начале жизни учатся видеть мир совсем иначе. То же касается и обучения с подкреплением: в играх Atari система каждую долю секунды получает четкую обратную связь о своих успехах. «Это работает отлично, но требует чего‐то очень странного – постоянного внешнего подкрепления», – говорит исследователь.

Отказ от жестко заданных внешних наград может стать необходимым шагом к созданию по-настоящему универсального ИИ. Жизнь, в отличие от игры Atari, не предоставляет размеченных данных и мгновенной оценки каждого действия. У нас есть родители и учителя, которые могут поправить речь или поведение, но это лишь малая часть нашего опыта. К тому же авторитеты не всегда согласны друг с другом. Более того, взросление подразумевает умение самостоятельно выносить суждения.

«Условием для настоящего прорыва, на мой взгляд, стало бы полное исключение вознаграждения, – говорит Беллемаре. – Это выводит меня за пределы зоны комфорта, но я полагаю, что самое интересное, что мы можем сделать с ИИ, – это позволить ему вырабатывать свои собственные цели. Существует проблема безопасности, но я хотел бы, видеть агента, которого можно забросить в Montezuma’s Revenge, и он будет играть просто потому, что ему это нравится» [532].

«Мы говорили об Аркадной обучающей среде как о вехе в истории отрасли, – продолжает Беллемаре. – Но для меня с ALE в каком‐то смысле покончено. Как и с максимизацией счета». По его мнению, высокий счет, полученный машиной, просто перебирающей варианты ради очков, не является признаком интеллекта, какими бы впечатляющими ни были цифры: «Я действительно думаю, что интеллект нужно измерять поведением, а не функцией вознаграждения». Каким может быть это поведение – один из центральных вопросов для исследователя.

Работа Орсо над агентами, стремящимися к знаниям, также намечает контуры сознания, движимого исключительно тягой к познанию. Предварительный анализ обнадеживает. Искусственный агент, нацеленный на максимизацию счета или достижение состояния, всегда рискует найти лазейку: взломать систему начисления очков или создать эскапистскую фантазию, где цели легко достижимы. Орсо подчеркивает, что хотя мы видим в этом жульничество, смысл действий агента иной: «Я просто совершаю действия, чтобы максимизировать награду. Агент не понимает, что делает что‐то плохое. Он просто пробует разные варианты, находит работающий – так почему бы его не использовать?» [533]

Агент, стремящийся к знаниям, не ищет таких обходных путей. Самообман не представляет для него интереса. «Представьте, что вы подделываете данные наблюдений… Какую информацию вы получите? Никакой, ведь вы заранее знаете результат» [534]. Благодаря такой устойчивости агент, ищущий знания, «может лучше подойти на роль общего искусственного интеллекта в нашем мире – месте, где можно легко обмануть себя множеством способов» [535].

Конечно, есть причины для