Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Пословица австралийских аборигенов

В 2017 году в приемное отделение Мемориальной больницы Джексона в Майами срочно доставили пациента в бессознательном состоянии. Его нашли на улице без документов. Дыхание было слабым, состояние стремительно ухудшалось. Когда врачи распахнули на нем рубашку, они увидели нечто странное: на груди мужчины была вытатуирована фраза «НЕ РЕАНИМИРОВАТЬ» (причем «НЕ» было подчеркнуто), а ниже стояла подпись [731].

Когда у пациента начало падать давление, врачи вызвали пульмонолога Грегори Холта. «Среди медиков часто шутят о том, чтобы сделать такую татуировку. Но когда ты действительно видишь ее на пациенте, это вызывает шок, – рассказывал Холт. – А потом наступает растерянность, ведь тебе нужно решать, что теперь делать».

Первым порывом Холта было проигнорировать татуировку. Он рассудил, что «столкнувшись с неопределенностью, надо действовать так, чтобы не совершить непоправимое» [732]. Пациенту поставили капельницу и начали поддерживать артериальное давление. Врачи выиграли немного времени.

Однако вскоре состояние мужчины ухудшилось, и встал вопрос о подключении его к аппарату искусственной вентиляции легких (ИВЛ). «Перед нами был человек, с которым я не мог поговорить, – вспоминал Холт. – А мне отчаянно хотелось спросить, действительно ли эта татуировка отражает то, чего он хочет прямо сейчас».

Ситуацию усложнял прецедент 2012 года: тогда в Тихоокеанский медицинский центр в Калифорнии поступил мужчина с такой же татуировкой на груди. Врачам удалось привести его в чувство. Оказалось, что он был категорически за реанимацию, а татуировку сделал, по пьяни проиграв в покер. Мужчина, который сам работал в больнице, сказал, что ему и в голову не приходило, что коллеги воспримут эту надпись всерьез [733].

В Майями Холт и его команда экстренно связались с Кеннетом Гудманом, главой Комитета по этике Мемориальной больницы Джексона. Гудман решил, что, несмотря на калифорнийский случай, эта татуировка, скорее всего, действительно отражает «осознанное желание» пациента. После напряженных обсуждений команда постановила: они не будут проводить сердечно-легочную реанимацию или подключать пациента к ИВЛ. Ночью состояние мужчины ухудшилось, и на следующее утро он умер.

Позже социальным работникам удалось установить личность пациента. В архивах Департамента здравоохранения Флориды был найден его официальный отказ от реанимации. «Мы вздохнули с облегчением», – признавались врачи. При этом Холт и Гудман подчеркнули, что их команда в итоге «не может ни поддерживать использование татуировок с последней волей, ни выступать против них» [734]. Это слишком сложный вопрос.

После публикации отчета об этом случае репортер Washington Post взял интервью у Артура Каплана, главы отделения медицинской этики Медицинской школы Нью-Йоркского университета. Каплан отметил, что хотя за игнорирование таких татуировок врачей не наказывают, у них могут возникнуть серьезные проблемы с законом, если они позволят пациенту умереть без официального письменного отказа от реанимации. Каплан резюмировал: «Самый безопасный путь – действовать и спасать».

«Если кто‐то вызывает скорую, я исхожу из того, что он согласен на реанимацию, – говорил Каплан. – И меня не волнует, какие и где у него татуировки» [735].

Несмотря на неуверенность в истинных желаниях пациента, врачи в Майами знали одно: бездействие (отказ от реанимации) – это необратимый шаг. В таких случаях отлично работает принцип: «столкнувшись с неопределенностью, избегай непоправимого». Но в других сферах концепция непоправимого становится куда более размытой.

Например, профессор права из Гарварда Касс Санстейн отмечал, что в юридической системе существует схожий «принцип предосторожности»: иногда суду нужно наложить предварительный запрет на какие‐либо действия, чтобы предотвратить «фатальные последствия» еще до рассмотрения дела по существу. Санстейн утверждал, что интуитивно мы понимаем, что такое «фатальные последствия», но при детальном анализе это понятие рассыпается на загадки. «Выясняется, – писал он, – что вопрос о том, когда… нарушения требуют предварительных судебных запретов (и нужны ли они вообще), поднимает глубокие проблемы на стыке права, экономики, этики и политической философии» [736].

Он объяснял: «В каком‐то смысле любые потери необратимы, просто потому что время течет в одном направлении. Если Джонс сегодня играет в теннис вместо работы, это время потеряно навсегда. Если Смит не сказал нужных слов любимой в подходящий момент, этот шанс может больше не представиться. Если одна страна не остановила агрессию другой, ход мировой истории может измениться необратимо».

Санстейн сформулировал парадокс: «Поскольку время линейно, каждое решение в некотором смысле необратимо. Если рассматривать необратимость так широко, то от „принципа предосторожности“ придется отказаться – не потому, что он ведет не туда, а потому, что он вообще никуда не ведет» [737].

Подобные парадоксы и проблемы определения преследуют и сообщество разработчиков искусственного интеллекта. Было бы хорошо внедрить в ИИ «принцип предосторожности», не позволяющий системе совершать необратимые или слишком масштабные действия в условиях неопределенности. Мы уже видели, что отрасль научилась математически вычислять неопределенность (например, через механизмы вроде дропаута). Но как вычислить масштаб последствий? В экспериментах с роботами в Беркли (которые снижали скорость при сомнениях) это было легко: ущерб от удара квадрокоптера можно измерить через кинетическую энергию. В более сложных системах точное определение терминов «необратимость» и «масштабное воздействие» превращается в колоссальную проблему [738].

Одним из первых, кто задумался об этом в контексте безопасности ИИ, был Стюарт Армстронг из Института будущего человечества Оксфордского университета [739]. Попытка составить исчерпывающий список того, что ИИ не должен делать ради достижения цели (от «не наступи на кошку» и «не разбей вазу» до «не убивай людей» и «не рушь здания»), выглядит утомительной и бессмысленной. Вместо этого Армстронг предложил более перспективную идею: создать универсальный запрет на любые действия, оказывающие слишком сильное непрогнозируемое влияние на мир. Но, как и Касс Санстейн, Армстронг выяснил, что превратить эту интуитивную догадку в строгую формулу невероятно сложно.

«Первая проблема, – писал Армстронг, – как определить „низкое воздействие“. Любое действие (или бездействие) имеет эффект домино, пуская круги по воде будущего и внося крошечные, но необратимые изменения. Очень трудно математически описать то, что люди интуитивно понимают как „незначительные изменения“» [740].

Несмотря на неизбежный эффект бабочки, Армстронг предложил способ отделить действия, меняющие мир, от безопасных. Например, мы можем создать индекс из миллиардов показателей, описывающих состояние планеты: «атмосферное давление в Дакке [741], средняя освещенность на Южном полюсе ночью, скорость орбиты спутника Ио, индексы Шанхайской биржи» [742]. Затем нужно запрограммировать агента так, чтобы он отвергал любое действие, которое существенно изменит бо́льшую часть этих показателей.

Исследовательница Виктория Краковна отмечала другую проблему такого «вето на последствия». Иногда для достижения полезной цели необходимо совершить действие с сильным эффектом, а затем – компенсирующее действие, чтобы вернуть систему в норму. Это не всегда плохо: если система намусорила в процессе работы, мы хотим, чтобы она за собой убрала. Но иногда «коррекция» выглядит жутко. Мы точно не хотим, чтобы ИИ, вылечивший человека от рака (что является масштабным вмешательством