Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

В последнее время психологи и когнитивисты перевернули этот подход с ног на голову, начав задавать эти интригующие вопросы не о машинах, а о людях. Как подобрать лучшую систему мотивации, если тот самый нетерпеливый, недальновидный и ограниченный в возможностях агент, которого нужно обучить, – это вы сами?

Как нам обучать себя

Теория вознаграждения в машинном обучении нужна не только для того, чтобы учить вертолеты летать. Она дает два важных инсайта о человеческой жизни и интеллекте. Во-первых, она показывают, почему некоторые задачи решить труднее: проблема в редкости наград. Во-вторых, она подсказывает решение: сложные задачи можно упростить, если поощрять достигнутое состояние, а не просто действие.

Потенциал этих идей огромен. Только экономический ущерб от прокрастинации сотрудников в Британии оценивается в 76 миллиардов фунтов в год. А ведь есть еще и личное благополучие, которое страдает, когда мы «зависаем» в играх вместо того, чтобы жить [446].

Если мы теряем время в компьютерных играх, возможно, это не наша вина. Б. Ф. Скиннер говорил: «Раньше я злился на своих подопытных, кричал: „Ведите себя как надо!“ Но потом понял: они всегда правы. Они ведут себя так, как их заставляет среда» [447]. Если ученик не учится, виноват учитель, который неправильно поставил задачу. Гейм-дизайнер Джейн Макгонигал называет это «сломанной реальностью» [448]. Игры так притягательны, потому что дают нам четкие цели и достижимый результат. В игре вам всегда предлагают миссию, которая идеально подходит под ваш текущий уровень: она сложная, но выполнимая. Придется постараться [449].

Игры – это пример идеально настроенной среды. Уровни идут последовательно, очки служат отличными промежуточными наградами. Для алгоритма обучения это идеальные условия. Разработчики игр скоро смогут использовать ИИ, чтобы тестировать уровни и находить моменты, где игроку становится скучно или слишком сложно.

Проблема в том, что игры сформированы лучше, чем реальность. Макгонигал заметила: в онлайн-играх вроде World of Warcraft мы постоянно чувствуем себя героями на пороге победы, поэтому нам не хочется возвращаться в реальность. Решение, по ее мнению, не в отказе от игр, а том, чтобы заставить реальный мир работать по правилам игры.

Макгонигал испытала это на себе [450]. Страдая от тяжелой депрессии после сотрясения мозга, она решила превратить выздоровление в игру [451]. Она начисляла себе баллы за простые вещи: звонок сестре, прогулку. Начало было положено.

Эта отрасль называется геймификацией [452], и за последние десять лет она превратилась из искусства в науку, во многом благодаря открытиям в области ИИ и обучения с подкреплением [453].

Один из главных исследователей в этой области – когнитивист Фальк Лидер из Института Макса Планка. Он занимается когнитивной психологией, изучая, как люди думают и принимают решения и, в отличие от большинства исследователей, испытывает живой интерес не только к пониманию когнитивных способностей человека, но и к разработке эффективных инструментов для улучшения мыслительных способностей. Экспериментировать он начал с себя.

В детстве Лидер понял, что ему не нравится в школе – там ему давали факты, но не учили размышлять. «Я очень хотел научиться думать и принимать хорошие решения, – объяснял ученый. – Учителя лишь описывали мир, а это было не слишком полезно» [454].

Со временем это желание подтолкнуло его к созданию инструментов для совершенствования человеческого мышления. Он интересовался так называемой «оптимальной геймификацией», с помощью которой можно расставить стимулы так, чтобы человек гарантированно достиг цели [455]. Это уже очень похоже на «оптимальную разработку вознаграждения», но в этот раз агентами будут люди, а не алгоритмы.

Лидер и его коллега Том Гриффит, опираясь на работы Эндрю Ына и Стюарта Рассела, вывели правило: награждать нужно состояние, а не действие. Важный нюанс: отменив действие (например, снова разбрасываете мусор, как дочь Гриффита), вы теряете столько же очков, сколько получили. Иначе система сломается – человек, как и робот, начнет бесконечно мусорить и убирать ради очков. Именно этому Рандлов и Альстром научились на горьком опыте, работая с роботом-велосипедистом, а Дэвид Андре и Астро Теллер – из работы с программой виртуального футбола.

Работы Ына и Рассела предполагают, что вознаграждение могло дать агенту с ограниченной способностью к предвидению и прогнозированию последствий своих действий возможность вести себя так, будто он более дальновиден, чем на самом деле [456]. Люди часто ведут себя импульсивно и не думают о будущем. Лидер выяснил, что если добавить к задачам искусственные мгновенные награды, люди начинают принимать более дальновидные решения.

Они с Гриффитом провели эксперимент. Участники планировали маршруты самолетов. Полеты в некоторые города были выгодными для определенного участка пути, но лишали самолеты других выгодных маршрутов. И наоборот. Когда участникам давали подсказки – бонусы за правильные промежуточные шаги, – они справлялись лучше. Но есть недостаток: люди привыкают к подсказкам и перестают думать сами. Их решения становятся точнее, но в целом они расслабляются. «Если необходимо действовать в обстановке, где срабатывает недальновидное принятие решений, – говорит Лидер, – люди учатся все больше и больше полагаться на эту систему» [457].

Становится интересно: можно ли использовать оптимальную геймификацию не для того, чтобы избавиться от необходимости планировать, а для того, чтобы люди справлялись с этим лучше?

В данном случае стимулы совершенно иные. Издержки можно использовать для создания режима обучения. Человек медленно учится думать наперед, при этом сложность постепенно повышается по мере того, как его мастерство растет. Вместо подсказок интерфейс может предложить наборы стимулов для «обучения людей планировать наперед и добиваться успеха там, где поощрение расходится с долговременными ценностями».

Лидер и Гриффит провели еще один эксперимент, на этот раз посвятив его прокрастинации. Они выложили на Mechanical Turk задание написать эссе на пять тем разной сложности. Члены первой группы за написание всех пяти эссе в течение 10 дней получали 20 долларов. 40 % участников даже не приступили к работе. (Что иронично, поскольку задание было подробно описано, и за отказ участники могли получить 15 центов!) [458]

Вторая группа получала стимулы – за каждое законченное эссе испытуемые получали очки, не имеющие денежного эквивалента. Каждое эссе стоило одинаковое количество очков. Это не помогло.

Наконец, третьей группе участников исследователи предложили оптимальные стимулы: количество баллов зависело от сложности темы и реального прогресса на пути к цели. (Например, сто слов про экономику КНДР стоили в три раза дороже, чем 50 слов про любимое шоу.) Результат 85 % участников закончили работу [459].

Фальк Лидер применил эти методы к своей аспирантуре и называет их «когнитивными протезами» [460]. Получение докторской степени – это пять