Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Аскелл отмечает, что это применимо и к ее области: «Даже если идеальный агент следует моральной теории Х, почти идеальный агент может использовать совершенно иной набор правил принятия решений» [607].

Это повод задуматься для любого подражателя. Имитация по своей природе тяготеет к поссибилизму, к попытке откусить больше, чем может проглотить. Забавно смотреть, как дети изображают взрослых за рулем, с ножом или в роли врача, но мы вмешиваемся, как только они тянутся к настоящим ключам, ножу или кошке. Поведение, которое мы на самом деле хотим видеть, может быть совсем не похоже на имитацию. «Второе лучшее» после умелого вождения – это сидеть на пассажирском кресле; после нарезки овощей – накрывать на стол; а для лечения кошки лучше позвать родителей.

Для машин-подражателей тоже лучше придерживаться «теории второго лучшего». Обучая их на своем примере, мы должны следить, чтобы они случайно не взялись за то, с чем не смогут справиться. Когда они станут достаточно опытны, проблема исчезнет. Но до тех пор слепое подражание может быть опасным. Как говорит дизайнер интерфейсов Брюс Балентайн: «Лучше быть хорошей машиной, чем плохим человеком» [608].

И еще кое-что: самоимитация и трансцендентность

Мой любимый игрок – это, возможно… я сам три или четыре года назад.

Чемпион мира по шахматам Магнус Карлсен [609]

Третья фундаментальная проблема подражания как стратегии обучения заключается в том, что если ваша главная цель – копировать учителя, вам будет трудно его превзойти.

Об этом задумывался один из пионеров машинного обучения, человек, придумавший сам этот термин, – Артур Сэмюэл. Еще в 1959 году он создал самообучающуюся программу для игры в шашки. «Я заложил в нее ряд принципов, которые, как мне было известно, имели отношение к игре, – рассказывал он, – хотя на тогда, ни сейчас я не уверен в их точном значении». В этот список входили такие параметры, как количество шашек у игрока, количество дамок, число доступных ходов и так далее [610].

В итоге программа научилась обыгрывать самого Сэмюэла, хотя использовала только те стратегические идеи, которые он в нее вложил. Способность безошибочно рассчитывать варианты в сочетании с точной настройкой «веса» каждого фактора методом проб и ошибок позволила системе превзойти учителя. Для того времени это было грандиозным достижением (как мы уже упоминали, акции IBM взлетели за одну ночь), и Сэмюэл справедливо гордился своим успехом. Тем не менее, он прекрасно понимал, что проект достиг потолка. «Сейчас компьютер играет по моим правилам и отлично умеет комбинировать, извлекая максимум выгоды, – сетовал он. – Но единственный способ победить мастеров – это дать машине лучший набор принципов. Но как?.. На сегодня я единственный человек в мире, кто может научить ее играть лучше, а она уже превзошла мои уроки».

Сэмюэл полагал, что настоящий прорыв случится тогда, когда компьютер сможет сам вырабатывать стратегические принципы. «Если бы только компьютер мог генерировать собственные условия! Но в ближайшем будущем на это мало надежды, – говорил он [611]. – К сожалению, никакой удовлетворительной схемы для этого пока не придумано» [612].

К концу ХХ века фундаментальные методы компьютерной игры изменились на удивление мало, как и их ограничения. Машины стали в миллионы раз быстрее, машинное обучение выделилось в отдельную индустрию, но упрямая зависимость компьютеров от нас осталась прежней.

В 1990‐е годы команда IBM, работая над шахматным суперкомпьютером Deep Blue, создала оценочную функцию, очень похожую на ту, что Сэмюэл использовал для шашек. Работая с гроссмейстерами, исследователи пытались перечислить все факторы, которые определяют силу позиции: количество фигур, их подвижность, контроль центра, безопасность короля, пешечная структура и так далее. Вместо 38 параметров Сэмюэла они использовали восемь тысяч [613]. «Эта шахматная оценочная функция, – рассказывал руководитель команды Сюй Фэнсюн, – вероятно, сложнее всего, что когда‐либо описывалось в компьютерной литературе по шахматам» [614]. Главный вопрос, разумеется, состоял в том, как взвесить и объединить эти тысячи факторов в единую оценку позиции. Сколько пешек стоит отдать за контроль центра? А за безопасность короля? Баланс был жизненно важен.

Как же они настроили эти тысячи параметров? С помощью подражания.

Команда Deep Blue использовала базу данных из 700 000 партий гроссмейстеров. Они показывали компьютеру позиции из реальных игр и спрашивали, какой ход он бы сделал. Настраивая оценочную функцию, они стремились к имитации человеческих ходов. Если, скажем, повышение ценности двух слонов делало выбор Deep Blue более похожим на ход гроссмейстера, то этот параметр усиливали.

Эта подражательная стратегия, основанная на человеческом опыте, была соединена с безошибочным расчетом и «грубой силой» машины. Компьютер мог за секунду перебрать сотни миллионов позиций. Этого в сочетании с человеческими критериями оценки хватило, чтобы победить чемпиона мира Гарри Каспарова[615] в историческом матче 1997 года. «Гарри готовился играть против компьютера, – сказал руководитель проекта Си Джей Тан. – Но мы запрограммировали машину так, что она играла как гроссмейстер» [616].

С философской точки зрения некоторые ученые сомневались: не станет ли эта зависимость от человеческих ролевых моделей тормозом для программ? В начале 90‐х Джонатан Шеффер разработал программу для игры в шашки, которая стала настолько сильна, что, когда ее ход отличался от хода гроссмейстера, решение машины часто оказывалось лучше. «Конечно, мы могли бы „подкрутить“ оценочную функцию так, чтобы программа систематически делала человеческие ходы, – писал он, – но далеко не очевидно, что это пошло бы ей на пользу». Во-первых, подгонка под человека снижает способность удивлять противника. Во-вторых, непонятно, полезна ли имитация, когда программа уже достигла уровня лучших людей. «Добиться дальнейшего прогресса оказалось сложно», – признал Шеффер [617]. Его проект, в сущности, зашел в тупик. Вопрос остался открытым для всей индустрии: «насколько имитация эксперта совместима с по-настоящему сильной игрой» [618]?

Пятнадцать лет спустя система AlphaGo от DeepMind наконец реализовала концепцию Артура Сэмюэла о машине, способной выработать собственные стратегические принципы с нуля. Вместо тысяч вручную прописанных характеристик она использовала глубокую нейронную сеть, чтобы автоматически находить паттерны и связи, делающие ходы выгодными. Примерно так же, как нейросеть AlexNet училась отличать кошку от собаки по текстурам и формам. При этом AlphaGo прошла такое же обучение, как и Deep Blue: училась угадывать ходы экспертов в го по огромной базе из 30 миллионов позиций [619]. Она научилась предсказывать ходы человека с точностью 57 %, побив предыдущий рекорд в 44 %. В октябре 2015 года AlphaGo стала первой программой, победившей профессионала в го (трехкратного чемпиона Европы Фань Хуэя). А в марте 2016 года она разгромила Ли Седоля – обладателя 18 титулов чемпиона мира и одного из сильнейших игроков планеты.

И снова, по иронии судьбы, компьютер, превзошедший человека,