Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

посвятили не более пяти стендовых докладов [365]. Конференция продолжалась неделю. Каждый день проводили две сессии стендовых докладов – утром и вечером. Теперь же, – говорила она, – в каждой серии стендовых докладов есть целая секция, посвященная обучению с подкреплением. За какие‐то 10–15 лет оно действительно прошло большой путь» [366].

«Было множество исследований, посвященных проверке прогнозов этой теории работы головного мозга. И они показали результат. Похоже, эти нейроны читают учебники! Они читают учебники Саттона и Барто. Они точно знают, что им нужно делать!» – добавляла Нив.

Счастье и ошибка

Хотя TD-модель обучения и показала функцию дофамина в головном мозге – это вещество не является валютой вознаграждения, не указывает на ожидания будущих наград, а указывает на ошибку в их ожидании, – но некоторые вопросы все‐таки остаются открытыми.

В частности, непонятна связь между субъективным опытом удовольствия и счастья. Если повышенный уровень дофамина сигнализирует о чем‐то вроде «дела пойдут лучше, чем я думал», тогда это ощущение само по себе должно быть приятным. И мы можем видеть, как люди и животные из кожи вон лезут, чтобы удержать его, в том числе прибегают непосредственно к химической и электрической стимуляции дофаминовых нейронов.

Также мы можем наблюдать, как искусственно повышенный уровень дофамина ведет к неизбежной катастрофе. Мысль о том, что дела пойдут лучше, чем вам казалось, работает только до поры до времени, и уровень дофамина понижается, как это было в экспериментах Вольфрама Шульца с обезьянами, когда лампочка, указывающая на появление сока, загоралась, но сока не было. Возможно, в действительности дофамин выписывает чеки, которые окружающая обстановка не в силах оплатить. В конце концов эти чеки неизбежно не принимаются к оплате. Тогда функция оценки состояния неминуемо стремится к нулю.

Ученые по-прежнему работают над связью между дофамином и субъективным ощущением счастья и удовольствия. Кент Берридж из университета Мичигана, к примеру, бо́льшую часть своей работы посвятил разграничению понятий «хотеть» и «нравиться» в нейронауке [367]. Тем временем Роб Рутледж из Университетского колледжа Лондона разработал математическую модель счастья, явно связанную с дофамином.

Рутледж, работая с Питером Даяном и группой ученых из Университетского колледжа, провел эксперимент, в ходе которого люди заключали различные пари и собирали некую сумму денег. Время от времени их спрашивали: «Насколько вы счастливы сейчас?» [368] Используя математические инструменты обучения с подкреплением, исследователи сделали модель задачи, чтобы понять, сколько денег у каждого субъекта есть на данный момент, сколько он в целом намеревается получить и испытывает ли он приятное или неприятное удивление, когда сумма на его счете увеличивается или уменьшается. Целью работы было вычислить математическую корреляцию кратковременных эпизодов счастья по сообщениям самих участников эксперимента.

Открытия Рутледжа можно считать примечательными по ряду пунктов. Во-первых, счастье было мимолетным. Как бы вы ни были счастливы от выигрыша одного фунта стерлингов, пять ставок спустя 92 % этого счастья исчезает. Того чувства, которое было десять ставок назад, как будто бы вообще не было. Это означает, что субъективное счастье человека практически никак не связано с тем, сколько денег у него имеется на данный момент.

Казалось, счастье в какой‐то мере обусловлено тем, сколько денег участники эксперимента ожидали заработать, но было важно и оправдание их ожиданий. Рутледж пишет: «Мгновенное ощущение счастья – это состояние, которое отражает не то, насколько хорошо идут дела, а то, насколько лучше они пойдут по сравнению с ожиданиями» [369]. Это выглядит в точности как временное различие – другими словами, как роль, которую дофамин играет в человеческом организме.

Если взглянуть шире, мы начинаем получать нейрофизиологические и компьютерные отчеты о хорошо известном явлении под названием «гедонистическая беговая дорожка». Если говорить конкретно, люди неумолимо возвращаются к определенному уровню счастья независимо от долговременных изменений в качестве их жизни [370]. Те, кто выиграл в лотерею, и те, кто потерял способность передвигаться, возвращаются к своему обычному эмоциональному состоянию спустя достаточно короткий срок после драматических изменений [371]. Дофамин и обучение с подкреплением подсказывают, почему так происходит. Если ощущение счастья возникает не оттого, что дела идут хорошо, и не оттого, что они вот-вот улучшатся, а оттого, что дела идут лучше, чем ожидалось, тогда – к лучшему или к худшему, – пока наши ожидания подстраиваются к тому, что происходит в реальности, долговременное состояние приятного удивления будет неустойчивым.

К несчастью, исследование отметает такие простые житейские хитрости, как «постоянно заниженные ожидания». Как говорит Рутледж, «заниженные ожидания делают более вероятной возможность того, что результат превзойдет эти ожидания и окажет положительное воздействие на состояние счастья. Тем не менее ожидания влияют на счастье еще до того, как мы узнаем об окончательном результате. Если вы планируете встретиться с другом в вашем любимом ресторане, позитивные ожидания могут усилить ваше счастье с того момента, как вам в голову придет эта мысль» [372].

В научной статье Рутледж и его соавторы отмечают, что авиакомпаниям, возможно, стоит объявлять о том, что существует 50 % вероятности задержки рейса на шесть часов, а потом говорить, что в действительности задержка составит всего один час. «Заниженные ожидания повышают вероятность положительного исхода… И они же снижают ощущение благополучия до того, как этот исход наступит, ограничивая выгоду от такой манипуляции» [373].

Другими словами, Рутледж сказал: «Нельзя понизить свои ожидания и этим решить все проблемы» [374].

Связь между дофамином, TD-ошибками и счастьем заставила некоторых ученых рассматривать этические аспекты субъективного счастья агентов, реализующих обучение с подкреплением. Брайан Томасик из Института фундаментальных исследований, чья цель – изучение и уменьшение страданий, до некоторой степени разрешил вопрос о том, существуют ли моральные основания для программ обучения с подкреплением, имеет ли значение то, как мы к ним относимся? В итоге он получил робкое ограниченное «да»: до той степени, до какой эти программы строятся на тех же принципах, что и мозг людей и животных, могут существовать некие этические соображения по поводу того, что они испытывают [375]. «Сегодняшние алгоритмы, реализующие обучение с подкреплением, значат намного меньше, чем животные, – отмечает исследователь. – Тем не менее я считаю, что значимость агентов обучения с подкреплением не должна равняться нулю, они в больших масштабах могут считаться чем‐то значимым» [376]. Дальнейшие работы других ученых пришли к тому, что определили «счастье» агента, реализующего обучение с подкреплением, по количеству его TD-ошибок [377]. По такой логике, отмечают исследователи, «агенты, которые идеально знают мир, имеют нулевой уровень ожидаемого счастья». В самом деле, если вызванное дофамином «счастье» возникает в основном из-за приятного удивления, из-за возможности лучше узнать, чего ожидать, то полное освоение любой