Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Даян и его коллега постдок по имени Рид Монтегю, работавший в институте Солка с нейроученым Терри Сейновски, заподозрили, что обучение с подкреплением не просто служит аналогией того, как действует головной мозг человека и животных, но буквально объясняет его работу. «Мы исследовали, какую роль играет в головном мозге ряд систем, отвечающих за оценку и подкрепление, – рассказывает Монтегю. – И подумали, что они должны реализовать определенного вида алгоритм [355]». Монтегю решил, что такие механизмы обучения могут стать одной из основных характеристик практически любого животного, способного учиться. Даян отталкивался от своей работы по обучению с темпоральными различиями, которое, казалось, годилось на роль одного из этих универсальных алгоритмов. В теории он работал, то есть сходился. Так же и с машинами: программа TD-Gammon была сильным игроком, ее могли обыграть только лучшие из игроков-людей. Возможно, сработает и с мозгом. Двое ученых начали рассуждать о том, как может работать неврологическая система для обучения с темпоральными различиями.

«Очевидно, здесь должна была быть связь с нейронаукой, – рассказывал мне Даян за столом в конференц-зале в штаб-квартире Uber в Сан-Франциско, где он проводил творческий отпуск, который он взял в Университетском колледже Лондона. – И тут мы наткнулись на данные, полученные Вольфрамом Шульцем» [356].

Неожиданно Даян вскочил и начал возбужденно рисовать схемы дофаминовых реакций на белой доске. Он указал на ровную линию без всяких пиков, которая обозначала реакцию обезьян, получавших сок после светового сигнала. «Эта часть сигнала вполне понятна. И именно это мы видим в правиле Рескорла-Вагнера – это прекрасное наследство психологии прошлого».

Затем он указал на первоначальный дофаминовый всплеск, вызванный зажженной сигнальной лампочкой. «Но эта часть сигнала портит все карты, – говорит он. – Потому что это не то, что можно ожидать с психологической точки зрения. Так что Вольфраму было сложно разобраться, что же означает такая реакция».

Когда Даян и Монтегю посмотрели на данные, полученные Шульцем, – те самые, которые для Шульца и всего нейропсихологического сообщества оставались загадкой, – они поняли, что же все это значит.

Это было временное различие. Неожиданная флуктуация в ожиданиях обезьян – их функция оценки состояния, прогноз того, насколько хорошо обстоят дела.

Непредвиденный всплеск дофамина на фоне обычного состояния мозга означал, что мир выглядит более многообещающим, чем мгновение назад. Не менее внезапное затишье, с другой стороны, означало, что дела пошли не так хорошо, как представлялось. Нормальный фоновый уровень указывал на то, что дела, плохи они или хороши, шли именно так, как и ожидалось.

Всплеск в дофаминовой системе – это не реакция на награду как таковую, не неуверенность, не удивление или внимание в чистом виде, но он непосредственно и совершенно четко связан со всем этим. Он представлял собой флуктуацию в ожиданиях обезьян, указывающую на то, что более ранние прогнозы были ошибочными; их мозг шел от предположения к догадке.

Алгоритм, который так хорошо работал на бумаге и на кремниевых схемах, был обнаружен в работе головного мозга. Обучение, основанное на временных различиях, не просто напоминало функцию дофамина – оно и было ею.

В 1997 году Шульц, Даян и Монтегю опубликовали резонансную статью в журнале Science, представив свое открытие миру. Они обнаружили «Нейронное основание прогнозов и вознаграждения» [357].

Воздействие как на нейроученых, так и на специалистов по компьютерам, было огромным. Идея, развившаяся в контексте машинного обучения, вдохновленная условными и оперантными рефлексами из психологии, неожиданно вернулась в исходную точку. Она не просто моделировала структуру искусственного интеллекта. Она, казалось, предлагала описание одного из универсальных принципов интеллекта вообще.

«Считается, что глаза эволюционировали от сорока до пятидесяти раз… Биология снова и снова открывала их – по-разному, – объясняет Монтегю [358]. – Думаю, то же самое происходит и в отрасли обучения. Его алгоритмы чрезвычайно важны для того, чтобы понять, как приобрести опыт в данный момент, реорганизовать внутреннюю структуру и совершать действия в будущем, что… следует ожидать того, что биология натыкалась на эти алгоритмы во многих различных контекстах. Таким образом, мы видим системы обучения с подкреплением и вознаграждением у пчел, морских огурцов, птиц, людей, грызунов и так далее» [359].

Даян разделяет такой взгляд на задачу. «Нет ничего удивительного в том, что мы оказались наделенными такими механизмами, – говорит он. – Но то, что они так явно заметны в деятельности дофаминовых нейронов… было открытием» [360].

Посетив лабораторию Вольфрама Шульца в Кембридже – в возрасте 75 лет работа все еще увлекает и заряжает ученого, – я спросил его, испытал ли он в то время нечто вроде прозрения. Как ни удивительно, ответ был отрицательным: открытием, по его мнению, была та первая модель TD-обучения, которая, описав активность мозга обезьян, двадцать лет спустя обеспечила прорыв в области искусственного интеллекта. Его просто потрясло, что мы смогли взять эти универсальные идеи у природы и приспособить их для своих нужд.

«Открытием было, – рассказывал Шульц, – когда я понял, что TD-модель превращается в то, что мы видим сейчас: программа для игры в го, искусственный интеллект, машинное обучение. Вот это откровения, узнав о которых я воскликнул: „О боже, чем же я занимался?!“ Знаете, понимать, что мои данные, полученные из модели Рескола-Вагнера, из ошибки в прогнозировании, имели такие последствия… Господи! Мы знали, что Тесауро программирует нарды с помощью TD-модели. Я не играю в нарды, но играю в го. Черт побери, если они смогли запрограммировать го, что прежде было проблемой, это действительно хорошая модель. И я увидел это до появления программы для игры в го».

Я сказал ему, что считаю примечательным появление такого явного и мощного синтеза работ в нейрофизиологии и машинном обучении, имеющего к тому же впечатляющее применение в обеих областях.

«Абсолютно верно, – отвечает Шульц. – В этом‐то и прелесть: все согласуется! Звучит вполне разумно» [361].

Это открытие буквально перевернуло нейронауку [362]. Как сказала Яэль Нив из Принстона, «потенциальные преимущества понимания обучения и выбора действий на уровне дофаминозависимой функции базальных ядер нельзя переоценивать: дофамин связан со множеством расстройств – от болезни Паркинсона, шизофрении, большого депрессивного расстройства, синдрома дефицита внимания и гиперактивности до зависимостей».

Разумеется, работы еще много, и то, что сегодня кажется бесспорным и каноническим, может измениться или усложниться со временем [363]. Но, как говорит Нив, абсолютно ясно, что «обучение с подкреплением уже оставило свой след в исследованиях процессов принятия решений в головном мозге» [364].

Исследовательница вспоминала, как в первый раз побывала на ежегодном собрании Общества нейроученых, которое посетили примерно 30 000 исследователей, работающих в отрасли. «Помню, я обратила внимание на обучение с подкреплением в свой первый визит, а это было в 2003 или 2004 году. Ему