Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

дорогих машин или уважения окружающих. Биология и культура используют эти желания как систему «промежуточных наград». Они направляют наше поведение в нужное русло здесь и сейчас, что в итоге приводит к главной эволюционной цели. Без этих простых стимулов конечная цель – выживание вида – казалась бы нам слишком абстрактной и далекой, чтобы мы могли сознательной к ней стремиться [437].

Ничего не напоминает?

Изучение принципов «формирования поведения» – сначала в психологии бихевиоризма, а затем в машинном обучении – дало нам не только умные алгоритмы. Возможно, главный вклад этой идеи в том, что она заставила нас совершенно иначе взглянуть на саму эволюцию.

В конце 1980‐х годов аспирант Брауновского университета Майкл Литтман проходил стажировку в Bellcore (Нью-Джерси) – исследовательском центре, ранее входившем в структуру AT&T. Там он нашел наставника и друга в лице Дэйва Экли.

Литтман интересовался проблемой поведения: как строить цепочки решений, которые ветвятся во времени. Экли отреагировал мгновенно: «О, для этого есть специальная область – обучение с подкреплением! Я как раз изучал это. Держи статью Рича Саттона 1988 года о временно́й разности» [438].

Литтман погрузился в чтение и так увлекся, что попросил Экли рассказать больше.

– А давай просто позовем Рича выступить! – предложил наставник.

– Что?! – изумился Литтман. – Ты хочешь взять имя с обложки статьи и превратить его в живого человека?

Для аспиранта наука была набором текстов, а не сообществом людей. Но Экли действительно знал всех в этой сфере и организовал встречу. Приезд Саттона стал поворотным моментом: и Литтман, и Экли окончательно «заразились» идеей обучения с подкреплением.

Их заинтересовало, как эволюция формирует систему внутренних вознаграждений. Почему она заставляет нас хотеть именно того, что полезно для выживания вида в долгосрочной перспективе? Ведь с точки зрения математики функция награды может быть какой угодно, даже совершенно случайной. Экли и Литтман решили провести эксперимент: создать виртуальный мир и посмотреть, как будут меняться желания существ под действием естественного отбора [439].

Они построили двумерную симуляцию, населенную простыми агентами, которые могли двигаться, есть, размножаться или стать добычей хищников. «Геном» каждого существа кодировал его личную функцию вознаграждения: например, насколько сильно оно любит еду или боится опасности. В течение жизни агенты обучались с подкреплением, стараясь максимизировать свое удовольствие (награду). При размножении эта система ценностей передавалась потомкам с небольшими случайными изменениями – мутациями. Изначально мир заселили существами со случайно сгенерированными предпочтениями.

«И тогда мы запустили симуляцию на семь миллионов циклов, – вспоминал Литтман. – По тем временам это заняло вечность, ведь компьютеры были медленными». Результат он охарактеризовал коротко: «Странные вещи» [440].

В целом успешные агенты вели себя предсказуемо: они научились стремиться к еде и избегать хищников. Но при детальном рассмотрении обнаружились причуды. Например, некоторые особи ели только ту пищу, что находилась к северу от них, полностью игнорируя еду с южной стороны.

«В их функциях вознаграждения зияли логические дыры, – объяснял ученый. – Но, когда мы пытались их „латать“, агенты становились настолько одержимы едой, что буквально объедались до смерти».

В виртуальном мире Экли и Литтмана были зоны с деревьями, служившие укрытием от хищников. Агенты усвоили, что находиться там выгодно для выживания.

Однако возникла серьезная проблема. Эволюция настроила систему вознаграждения так, что близость к деревьям считалась безусловным благом. Агенты, стремясь получить максимум «очков удовольствия», довели эту логику до абсурда. Экли назвал это состояние «древесной деменцией»: существа намертво «прилипали» к спасительным зонам, отказывались выходить наружу ради поиска пищи и в итоге умирали от голода.

Поскольку эта «древесная деменция» проявлялась уже после того, как агенты достигали репродуктивного возраста, естественный отбор ее отсеивал. В результате в виртуальном мире расплодились огромные популяции существ, одержимых деревьями.

Литтман увидел в этом глубокий смысл, а не просто причуду эволюции. «Это важнейший урок, – отмечал он. – Функция вознаграждения работает не в вакууме. Ключевую роль играет ее взаимодействие с поведением агента».

Суть в том, что агенты рождались со вполне адекватной системой ценностей. Проблемы начинались, когда они становились слишком компетентными в получении награды. Обучаясь максимально эффективно добывать очки за безопасность, они доводили эту стратегию до абсурда, что в итоге и приводило их к гибели.

В этой истории очевидно прослеживается предупреждение для всего человечества. Правило «ешь как можно больше сладкого и жирного» оправдано лишь в условиях дефицита, когда добывать калории трудно. Но как только среда меняется и еда становится доступной, этот механизм начинает работать во вред. Древняя функция вознаграждения, которая десятки тысяч лет спасала наших предков, в современном мире сбивает нас с толку.

Для Эндрю Барто эти эволюционные механизмы стали ключом к пониманию того, как проектировать системы вознаграждения для ИИ. «Эволюция встроила в нас внутренние стимулы, и нам стоит учитывать это при разработке искусственных систем, – говорит он. – Природа использует сигналы удовольствия, чтобы подталкивать нас к действиям, способствующим размножению» [441].

При этом Барто отмечает важный нюанс: эволюция не вознаграждает нас за сам факт успешного продолжения рода. Вместо этого она поощряет нас за «предвестники» успеха. Мы оптимизируем свое поведение ради этих промежуточных наград, в то время как эволюция в глобальном масштабе оптимизирует сами эти награды ради выживания вида. «Это процесс двухуровневой оптимизации, – заключает Барто, – и он невероятно интересен».

В последние годы Барто изучал «оптимальную задачу вознаграждения» [442] вместе с учеными из университета Мичигана Сатиндером Сингхом, Ричардом Льюисом и их аспирантом Джонатаном Соргом. Если у нас есть некая цель, недостаточно просто сказать агенту к ней идти.

«Должны ли цели агента совпадать с целями разработчика? – спрашивают ученые. – Этим вопросом нечасто задаются» [443].

Представьте игру, в которой есть агент, удочка, черви и пруд с рыбой [444]. Главная цель эволюции – получить максимум калорий. Идеальная стратегия – не есть червей сразу, а использовать их как наживку, чтобы поймать рыбу. Но научиться этому сложно. Если агент умный и живет долго, ему выгодно испытывать отвращения к червям. Так он не съест наживку и быстрее освоит рыбалку. Если же агент живет мало или плохо обучается, тратить время на уроки рыбалки бессмысленно. Ему выгоднее считать червей вкусными и есть их сразу.

Самый интересный случай – это «умный, но недолговечный» агент. Он способен научиться рыбачить, но умрет раньше, чем этот навык окупится. Чтобы он не тратил драгоценное время зря, эволюции выгодно привить ему аллергию на рыбу. Тогда у него не останется выбора, кроме как просто есть червей.

Даже малейшие изменения в продолжительности жизни, ресурсах или устройстве агента могут внезапно и непредсказуемо изменить то, какая система вознаграждения будет для него оптимальной. То, что идеально работает для одного, совершенно не подходит другому –