Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

ключевое понятие, неразрывно связанное с любопытством, наряду с новизной, – это неожиданность [499]. Любознательного ребенка интересует не только то, что является «новым» само по себе, но и то, что может его чему‐то научить. Бейсбольный мяч в фиолетовый горошек привлечет внимание лишь на мгновение, но если в остальном он ведет себя как обычный мяч, интерес быстро угаснет. Напротив, мы долго сохраняем интерес к вещам, которые обманывают наши ожидания, ведут себя непредсказуемо и побуждают выяснить, что будет дальше.

Одна из ведущих ученых, изучающих роль неожиданности в развитии, – Лора Шульц из Массачусетского технологического института. В 2007 году она провела эксперимент с детьми, которые играли с коробками, откуда выскакивали различные игрушки [500]. Исследователи ненадолго забирали знакомую игрушку, а затем возвращали старую коробку вместе с новой, другого цвета. После этого они оставляли обе игрушки перед ребенком и наблюдали, к какой из них он потянется.

«На тот момент все, что мы знали о детских играх и любопытстве, сводилось к следующему, – рассказывал Шульц. – Если четырехлетки какое‐то время играют с одной коробкой, а затем им дают новую, они обязательно выберут ее. Они должны немедленно переключиться на новую коробку, поскольку основная идея любопытства связана с перцептивной новизной: эту вещь они еще не видели» [501].

Но Шульц заметила кое-что еще. В некоторых случаях демонстрация первой коробки была неоднозначной. У нее было два рычага, и при одновременном нажатии выскакивали сразу две игрушки. Было непонятно, что произойдет, если нажать только на один рычаг. Может быть, один рычаг активирует сразу обе игрушки, а второй не делает ничего? Или каждый рычаг связан с куклой, расположенной ближе к нему? А может, наоборот? В таких запутанных ситуациях четырехлетки не спешили менять знакомую игрушку на новую. Вместо этого они настойчиво продолжали возиться со старой коробкой, пытаясь разобраться в механизме ее работы.

«Похоже, любопытство в нас часто вызывают не абсолютно новые вещи, а те, которые озадачивают», – говорила Шульц [502].

Стало ясно: неожиданность – то есть неопределенность и возможность получить новую информацию – определяет внутреннюю мотивацию детей так же сильно, как и новизна. Эта идея породила второе, не менее мощное направление исследований, охватившее как когнитивные науки, так и информатику.

Вместе с психологом из Ратгерского университета и группой коллег Шульц продолжила эксперименты, используя утяжеленные кубики. Предварительные наблюдения показали, что примерно в шесть лет дети начинают строить теории о том, как уравновесить предметы разной формы. Некоторые ошибочно полагают, что центр тяжести всегда находится посередине, даже если предмет несимметричен. Другие же считают, что он смещен к более тяжелому концу, что верно. Исследователи с помощью магнитов создали кубики, которые нарушали ожидания обеих групп.

Когда дети сталкивались с кубиками, которые вели себя предсказуемо, срабатывало привычное предпочтение новизны: при первой же возможности они бросали кубики и выбирали новую игрушку. Но дети, которым попадались другие кубики (нарушающие их теорию равновесия), не отходили от них и продолжали играть, даже когда им предлагали замену [503].

Интересно, что дети 4–5 лет, у которых не сформировалась четкая теория равновесия, почти всегда выбирали новую игрушку. У них просто не было достаточных знаний и ожиданий, чтобы удивиться поведению кубиков.

Другие исследования, например работа Эми Сталь и Лизы Фейгенсон из Университета Джона Хопкинса (2005), подтверждают: то, как дети играют, зависит от того, как именно игрушка их удивляет [504]. Если показать им машинку, которая необъяснимо парит в воздухе, они будут ее подбрасывать и ронять. Если машинка проходит сквозь стену, они станут стучать ею по столу. В любом случае ребенок предпочтет удивившую его игрушку новой. (Контрольная группа, которая не видела странностей, стабильно выбирала новую игрушку.) Авторы исследования утверждали, что уже в 11 месяцев дети используют «нарушение ожиданий как особую возможность для обучения».

«Легко считать маленького ребенка „чистым листом“, – говорила Фейгенсон. – Но на самом деле у детей есть богатые и сложные ожидания относительно окружающего мира. Возможно, даже более сложные, чем принято думать». По ее словам, малыши «используют свои знания о мире, чтобы направлять процесс познания и понимать, о чем им нужно узнать больше» [505].

В информатике идея агента, мотивированного не только наградой, но и стремлением понять и предсказать происходящее, стара как само обучение с подкреплением. И неожиданно она принесла плоды.

Дэниел Берлайн, наблюдавший за первыми экспериментами по машинному обучению в 1950‐х, уже тогда задумывался об использовании удивления как подкрепления. Он писал, что будущие исследования могут быть направлены на создание машин, которые совершенствуют свои алгоритмы на основе опыта, стремясь снизить количество ошибок и несоответствий [506].

Немецкий исследователь ИИ Юрген Шмидхубер с 1990 года развивает идею агентов, которые получают вознаграждение за изучение принципов работы среды, то есть за улучшение способности делать прогнозы. «Их можно рассматривать как искусственных ученых или художников, – объясняет он, – движимых внутренним желанием создать лучшую модель мира» [507]. Для Шмидхубера, как и для Берлайна в 60‐х, эта концепция математически связана с теорией информации и, в частности, со сжатием данных: предсказуемый мир проще «сжать».

По мнению Шмидхубера, идея о том, что мы познаем мир, чтобы лучше сжимать свои представления о нем, дает «формальную теорию творчества и веселья». Он поясняет: «Все дело в вычислительных ресурсах. Пока вы не усвоили закономерность, вам требуется много ресурсов. Когда усвоили – гораздо меньше. Разница – это и есть ваша экономия! А ленивый мозг любит экономить».

«И, – он щелкает пальцами, – это весело!» [508]

Как и Берлайн, Шмидхубер интересуется не тем, как люди решают конкретную задачу (выиграть в игру, выйти из лабиринта), а тем, что они делают, когда нет четких инструкций.

Дети здесь – идеальный пример. «Даже когда нет нужды утолять жажду или другую примитивную потребность, младенец не бездельничает. Он активно экспериментирует: какую обратную связь я получу, если переведу взгляд, пошевелю пальцами или языком?» [509]

Шмидхубер отмечает, что в основе любопытства лежит фундаментальное противоречие, своего рода борьба. Исследуя среду – будь это игра Atari, реальный мир или человеческое общество – мы наслаждаемся тем, что нас удивляет, но при этом удивить нас все сложнее. Кажется, что в разуме работают две системы обучения с противоположными целями: одна старается свести неожиданности к нулю, а другая – удивить первую [510].

Почему бы не попытаться сымитировать этот конфликт напрямую? В 2017 году группа из Калифорнийского университета в Беркли под руководством аспиранта Дипака Патака занялась этой задачей. Патак создал агента из двух модулей: один предсказывал результат действия и получал награду, если прогноз сбывался; другой стремился совершать максимально неожиданные действия, получая награду, когда прогноз первого модуля оказывался ошибочным [511].

В игре