Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Успех Deep Blue и AlphaGo стал возможен только благодаря огромным базам данных человеческих игр. Эти победы вызвали такой резонанс в мире именно из-за популярности шахмат и го. Но эта же популярность и обеспечила победу машинам. Каждый ход, сделанный людьми за историю игр, был использован против нас. Компьютеры не показали бы таких впечатляющих результатов в менее популярной игре – им просто не хватило бы примеров для обучения. Таким образом, популярность сыграла двойную роль. Она сделала достижение значительным и возможным.

Однако не успела AlphaGo насладиться триумфом, как в 2017 году ее сместила с пьедестала еще более мощная программа – AlphaGo Zero [621]. Главное отличие заключалось в объеме человеческих данных, использованных для обучения: их было ровно ноль. Начав с чистого листа, со случайной игры, программа просто играла сама с собой. Снова, и снова, и снова. Невероятно, но после 34 часов самообучения она достигла уровня той версии AlphaGo, что победила Ли Седоля. Спустя 72 часа команда DeepMind устроила матч между двумя системам. AlphaGo Zero, используя лишь одну десятую вычислительных ресурсов предшественницы, выиграла серию из 100 партий со счетом 100:0.

Как написали исследователи DeepMind в журнале Nature: «Человечество накапливало знания о го миллионами партий на протяжении тысяч лет, кристаллизуя опыт в схемах и книгах» [622]. AlphaGo Zero открыла все это за трое суток.

Но за кадром происходило кое-что любопытное. Системе не показали ни одной человеческой партии. И тем не менее, она училась путем подражания. Она училась имитировать… саму себя.

Вот как работает «самоимитация». Мастерство в играх вроде шахмат или го требует двух типов мышления: «быстрого» и «медленного» [623]. Есть медленное, сознательное рассуждение: «Если я пойду сюда, он ответит так, а я потом так…». У AlphaGo Zero эту роль выполнял алгоритм поиска по дереву Монте-Карло (MCTC), просчитывающий варианты ход за ходом [624]. Но этот медленный расчет тесно связан с быстрой интуицией двумя способами.

Первый – это интуитивная оценка позиции до всякого расчета. Насколько хороша ситуация на доске? Эту функцию выполняла нейросеть (оценочная сеть), которая мгновенно выдавала вероятность выигрыша (от 0 до 100 %).

Второй тип «быстрого» мышления включается, когда мы смотрим на доску и видим несколько вариантов ходов. Некоторые ходы напрашиваются сами собой, другие неочевидны. Мы тратим время на просчет только тех вариантов, которые интуиция подсказывает как перспективные. Именно здесь кроется секрет AlphaGo Zero. Возможные ходы предлагает так называемая стратегическая нейросеть. Она смотрит на позицию и присваивает каждому возможному ходу рейтинг. Что означает это число? Это предсказание того, какой ход машина в итоге выберет после долгого расчета.

Идея кажется странной, почти парадоксальной. Стратегическая сеть пытается угадать, к какому выводу придет алгоритм MCTS после тщательного перебора вариантов. И при этом сам алгоритм MCTS использует эти догадки, чтобы направлять свой поиск (он проверяет в первую очередь те ходы, которые сеть считает вероятными) [625]. «AlphaGo Zero становится собственным учителем, – объясняет Дэвид Сильвер из DeepMind. – Она тренирует свою нейросеть предсказывать ходы, которые сама же AlphaGo Zero и делает» [626].

Кажется, что это рецепт самосбывающегося пророчества (система использует прогнозы, чтобы делать ходы, которые она предсказала). Но на самом деле происходит усиление:

«Быстрая» сеть дает подсказки.

«Медленный» алгоритм MCTS использует их, чтобы провести более глубокий и качественный поиск.

В результате поиска машина находит ход, который лучше первоначальной догадки.

Этот новый, улучшенный ход используется для переобучения «быстрой» сети.

Сеть становится умнее, дает лучшие подсказки, и цикл повторяется.

В техническом сообществе этот процесс известен как «усиление», но его можно назвать и чем‐то вроде трансцендентности. AlphaGo Zero училась подражать только самой себе. Она использовала свои догадки, чтобы принимать лучшие решения, а затем училась предсказывать эти лучшие решения. Она начала со случайной игры. 72 часа спустя она стала сильнейшим игроком в мире.

Усиление ценностей

Поразмышляйте о том, что подражание – самая приемлемая часть молитвы и что боги гораздо больше хотели бы, чтобы человеческий род им подражал, а не льстил.

Марк Аврелий [627]

Для все большего числа философов и специалистов по информатике, задумывающихся о далеком будущем, перспектива появления гибких интеллектуальных систем, в которые нам предстоит вложить сложнейшие модели поведения и ценности, вызывает вопросы куда более сложные, чем просто технические.

Здесь есть две основных трудности.

Первая состоит в том, что наши желания очень трудно выразить недвусмысленно даже словами, не говоря уж о цифрах. Как отмечает Ник Бостром из Института будущего человечества: «Кажется невозможным составить полный список всего, что нас волнует» [628]. В таких случаях мы уже видели успех методов подражания – там, где сложно формализовать каждую мелочь, делающую человека хорошим водителем или игроком в го, простая команда «смотри и учись» часто дает впечатляющие результаты. Вполне возможно, что по мере того, как автономные системы будут становиться мощнее и универсальнее, мы сможем использовать этот же подход, чтобы объяснить им не только правила игры или вождения, но и то, что значит жить хорошо – как для отдельного человека, так и для общества.

Вторая, более глубокая проблема заключается в том, что и традиционное обучение с подкреплением (через награды), и обучение с подражанием требуют от человека роли высшего авторитета. Системы, обучающиеся подражанию, могут превзойти своих учителей только в двух случаях: либо если ошибки неидеальных учителей взаимно нейтрализуются на большой дистанции, либо если эксперты, не способные показать идеальное исполнение, могут хотя бы распознать его.

Если заглянуть в будущее, где мощные системы будут действовать в сложных и неоднозначных условиях реального мира, обе эти проблемы становятся критическими.

Некоторые, например, беспокоятся, что люди – не лучший пример для подражания в вопросах морали. «Мы много говорим о том, как заложить в машины человеческие ценности, – отмечал Блез Агуэра-и-Аркас из Google. – Но я не считаю это главной проблемой. Куда важнее, что человеческие ценности в их нынешнем виде недостаточно хороши» [629].

Элиезер Юдковский, сооснователь Института исследований машинного интеллекта, в своей влиятельной работе 2004 году утверждал: чтобы наделить машины способностью не просто копировать наши нормы, а развивать их, мы должны привить им то, что он назвал «когерентной экстраполированной волей». «Поэтически выражаясь, – пишет он, – это наше желание знать больше, думать быстрее и быть теми людьми, которыми мы хотели бы быть» [630].

В областях с четкими критериями успеха – шашках, го или Montezuma’s Revenge – машины могут использовать подражание как старт, а затем, применяя метод проб и