Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Мысль кажется одновременно интуитивно понятной и парадоксальной: делая то же, что и более опытный человек, вы иногда совершаете серьезную ошибку. Это удивительно сложная проблема, тесно связанная с этикой, экономикой и машинным обучением.

В 1976 году в этической философии возник новый вопрос: в какой степени ваши будущие действия влияют (или должны влиять) на то, что следует предпринять сейчас?

Философ Холли Смит из Мичиганского университета, изучая тонкости прагматизма, заметила странность. «Если вы прагматик, – объясняет она, – естественно спросить: „Если я совершу действие А, приведет ли оно к наилучшим последствиям?“ Очевидно, ответ зависит от того, что я сделаю потом» [593]. Необходимость учитывать собственные будущие действия заставляет принимать в расчет и будущие ошибки. Так Смит начала писать о том, что позже назвала «моральным несовершенством» [594].

Ее мысленный эксперимент стал известен как «Профессор Прокрастинатор» [595]. Сюжет прост: герой – профессор и, как вы догадались, неисправимый прокрастинатор. Его просят написать рецензию на работу студента по теме, в которой профессор исключительно компетентен. Если он согласится, то, скорее всего, просто потратит время впустую и так и не даст отзыв. Это хуже, чем отказ, ведь в случае отказа студент мог бы обратиться к кому‐то другому, пусть и менее квалифицированному.

Должен ли профессор соглашаться?

Две школы этической мысли дают разные ответы. Здесь расходятся «поссибилизм» (убеждение, что человек должен совершать наилучшее из возможных действий) и «актуализм» (мнение, что человек должен делать то, что лучше в данный момент, учитывая, что реально произойдет потом из-за его дальнейших действий) [596].

С точки зрения поссибилизма, лучший вариант для Прокрастинатора – согласиться и написать рецензию вовремя. Все начинается с согласия, значит, он должен сказать «да».

Актуализм подходит более прагматично. В реальности согласие приведет к плохому исходу: рецензии не будет вовсе. Отказ приведет к сравнительно лучшему результату: отзыв от менее квалифицированного специалиста. Поскольку профессор должен стремиться к реальному лучшему результату, он должен сказать «нет».

Смит пришла к выводу, что «порой человек должен ставить планку ниже, а не выше». Она поясняет: «Странно предписывать действие, которое дает возможность совершить нечто великое, если в том же положении агент способен натворить что-то и, скорее всего, выберет второе».

В то же время Смит быстро обнаружила недостатки актуализма. «Актуализм оправдывает плохие поступки, ссылаясь на ваши будущие моральные недостатки», – говорит она. Сорок лет спустя теоретические споры не стихают. «Думаю, многие считают вопрос открытым. Справедливо сказать, что дискуссия все еще кипит» [597].

Эти споры имеют не только теоретическое значение. Среди сторонников движения «эффективного альтруизма» в XXI веке нет ни единого мнения о том, насколько человек должен жертвовать собой ради помощи другим [598]. Философ из Принстона Питер Сингер знаменит утверждением, что отказ жертвовать на благотворительность равносилен тому, чтобы пройти мимо пруда с тонущим ребенком и не спасти его [599]. Но даже среди тех, кто согласен с этим аргументом, идут дебаты о размере пожертвований. Идеальный человек, возможно, мог бы отдать почти все деньги и остаться счастливым, вдохновляя других. Но даже ярые сторонники движения, включая самого Сингера, далеки от этого идеала.

Джулия Уайз, одна из лидеров сообщества эффективного альтруизма, подает серьезный пример, отдавая 50 % дохода на благотворительность. В то же время она подчеркивает, что не стоит требовать от себя совершенства. «Разрешите себе пройти только часть пути», – говорит она [600]. Уайз также отмечает, что ее попытка стать веганом разбилась о любовь к мороженому. Ей пришлось смириться с тем, что она будет «веганом, который ест мороженое». Это та позиция, которую она реально может удержать.

Философ из Оксфорда Уилл Макаскилл, сооснователь Центра эффективного альтруизма, высказывается весьма категорично: «Мы должны быть актуалистами. Если сегодня вы отдадите все сбережения (что технически возможно), вы впадете в такую депрессию, что перестанете жертвовать в будущем. Если же решите отдавать 10 %, это обязательство достаточно надежно, чтобы выполнять его годами. В итоге ваш вклад будет больше» [601].

Сам Сингер признает, что в долгосрочной перспективе важен баланс. «Если ваши действия приносят вам страдания, самое время пересмотреть обязательства. Можно ли относиться к этому позитивнее? Если нет – лучше что‐то менять». Он также отмечает, что «пока эффективных альтруистов мало, им важно подавать привлекательный пример, чтобы вовлечь других» [602].

У машинного обучения есть своя версия спора актуализма и поссибилизма. В главе 4 мы говорили о методах, которые оценивают «стоимость» действий через ожидаемые будущие награды (например, Q-обучение). Агент учится предсказывать свои шансы на победу в настольной игре или количество очков в Atari для каждого хода. Если прогнозы точны, остается просто выбирать действие с наивысшей Q-стоимостью.

Но здесь есть нюанс. Должна ли Q-стоимость отражать награду, которую вы можете получить, если будете действовать идеально? Или ту, которую вы скорее всего получите, учитывая ваши реальные способности? Для идеального агента разницы нет, но для всех остальных прогнозы могут сильно отличаться.

Два подхода к оценке называют методами обучения «на основе текущей стратегии» (on-policy) и «вне текущей стратегии» (off-policy). Первые (актуалисты) оценивают стоимость действия, исходя из реального поведения агента в будущем. Вторые (поссибилисты) оценивают действие, исходя из предположения, что за ним последует наилучшая возможная серия шагов [603].

В своем классическом учебнике по обучению с подкреплением Ричард Саттон и Эндрю Барто описали, как агент-поссибилист может попасть в беду, пытаясь всегда делать «лучший ход». Представьте машину, которой нужно проехать вдоль обрыва. Самый короткий и эффективный путь – прижаться к краю. Если управление идеально, это действительно лучший маршрут. Но для нестабильного беспилотника это путь к катастрофе. Лучшим решением для него будет дорога подальше от края, где риск меньше, пусть и награда чуть ниже. Агент, обученный «на основе текущей стратегии» (актуалист), учится выбирать именно такой, более безопасный маршрут [604].

Подражание героям или наставникам – будь то человек или машина – несет в себе риски поссибилизма, оценки «вне текущей стратегии» [605]. В шахматах знание лучшего хода без гроссмейстерского понимания последствий может привести к тому, что ученик переоценит свои силы. В таких случаях наблюдение за профи не помогает, а вредит. Одно дело – знать, что жертва ферзя приведет к мату в 10 ходов. Но если я не вижу эту комбинацию, я просто потеряю ферзя и проиграю.

С середины ХХ века экономисты обсуждают «теорию второго лучшего»: если идеальные условия модели нарушены хотя бы в одном пункте, «второе лучшее» решение может кардинально отличаться от первого [606]. Исследовательница этики ИИ из OpenAI Аманда