Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Однако не менее важна и обратная сторона этой мысли: если мы не можем идеально сформулировать цель и ограничения для машины, тогда нам жизненно необходимо убедиться, что мы всегда сможем прервать ее работу или скорректировать курс. В литературе по безопасности ИИ эта идея называется корректируемостью, и на практике она оказывается гораздо сложнее, чем кажется [752].

Любые дискуссии о роботах-убийцах и вышедшей из-под контроля технике обычно вызывают реакцию, подобную той, что в 2016 году озвучил Барак Обама. Когда главный редактор Wired спросил президента США, стоит ли беспокоиться об искусственном интеллекте, тот ответил: «Нужно поставить кого‐нибудь рядом с розеткой. Как только увидите, что происходит что‐то не то, просто выдергивайте шнур» [753].

«Знаете, Обаме можно простить эти слова, – сказал мне исследователь Дилан Хэдфилд-Менелл, когда мы сидели в конференц-зале OpenAI [754]. – Какое‐то время это можно было простить даже специалистам по ИИ». В 1951 году сам Алан Тьюринг в редиоинтервью говорил о возможности «отключить электричество в критический момент» [755]. Но, как добавил Хэдфилд-Менелл: «Если всерьез вдуматься в проблему, такое легкомыслие непростительно. Я готов списать это на оговорку. Но если вы глубоко изучали этот вопрос и все, к чему пришли, – это „выдернуть вилку“, то я не понимаю, как вы вообще пришли к такому выводу, если действительно допускаете, что эта штука может быть умнее нас».

Чтобы машина сопротивлялась отключению или вмешательству, ей даже не нужна злонамеренность. Система просто пытается достичь поставленной цели или следует «мышечной памяти», воспроизводя действия, которые раньше приносили награду. Вмешательство в этот процесс воспринимается ею как препятствие. (Это может привести к опасному инстинкту самосохранения даже у систем с безобидными задачами. Робот, которому поручили просто подать кофе, может отчаянно сопротивляться отключению, потому что, как метко заметил Стюарт Рассел: «Если ты мертв, ты не сможешь принести кофе» [756].)

Первая серьезная техническая статья, посвященная проблеме корректируемости, вышла в 2015 году. Ее авторами стали Нейт Соэрс, Бенджамин Фалленстайн и Элиезар Юдковский (Институт исследований машинного интеллекта), а также Стюарт Армстронг (Институт будущего человечества Оксфордского университета). Они проанализировали проблему с точки зрения системы стимулов и отметили, насколько сложно так мотивировать агента, чтобы он добровольно позволил себя отключить или изменить свои же цели [757]. Балансирование стимулов напоминает хождение по канату: если их слишком мало, ИИ не даст себя выключить; если слишком много – он выключит себя сам. Как пишут исследователи, их первые попытки решить эту задачу математически оказались «неудовлетворительными», но «пролили свет на направления для будущих исследований». Они пришли к выводу, что ключом к ответу могут быть не стимулы, а неопределенность. В идеале нам нужна система, которая понимает, что может ошибаться – система, которая «рассуждает так, словно она несовершенна и это несовершенство может представлять опасность» [758].

Менее чем в полутора километрах от них исследователи из Беркли пришли к такому же выводу. Стюарт Рассел был убежден: «Машина должна изначально сомневаться» в том, чего хотят от нее люди [759].

Рассел, Хэдфилд-Менелл и их коллеги из Беркли Анка Драган и Питер Аббель сформулировали эту проблему в виде так называемой «игры с выключением». Они смоделировали систему, чья единственная цель – любым способом угодить человеку. Однако ее представления о том, что именно нужно человеку, были неточными и неопределенными. В каждый момент у системы был выбор: либо совершить действие, которое (по ее мнению) поможет пользователю, либо озвучить свои намерения и дать человеку шанс одобрить действие или остановить его.

Ученые математически доказали: если за ожидание или уступку человеку машина не получает штрафных баллов, то система всегда сначала обратится к человеку. Пока у системы есть хоть малейшее сомнение в том, чего хочет пользователь, ей выгоднее дать ему возможность вмешаться. Более того, ИИ выгодно подчиняться этому вмешательству каждый раз. Если единственная цель системы – помогать, а человек пытается ее остановить (сигнализируя, что считает действие вредным), системе логичнее прийти к выводу, что действие и правда вредно, и послушно отключиться.

Это был многообещающий результат, математически доказавший прочную связь между неуверенностью (неопределенностью ИИ) и его способностью принимать корректировки.

Но возникли две проблемы.

Первая: каждый раз, когда человек вмешивается, ИИ учится. Он понимает, что допустил ошибку, и уточняет модель человеческих предпочтений. Неопределенность ИИ снижается. Если она когда‐нибудь упадет до нуля, система решит, что поняла человека идеально. С этого момента у нее исчезнет любой стимул спрашивать разрешения или подчиняться попыткам ее остановить.

«Главный посыл нашего доказательства, – объясняет Хэдфилд-Менелл, – заключается в том, что нужно очень, очень крепко подумать, прежде чем жестко прописывать роботу целевую функцию или позволять ему считать, что он на 100 % уверен в своей цели» [760].

Вторая проблема сложнее: модель исходит из того, что «клиент всегда прав». То есть если человек пытается остановить систему, он априори не может ошибаться. Но если заложить в алгоритм имею, что люди тоже иногда совершают ошибки, то система со временем достигнет точки, когда решит, что она знает лучше человека, что для него благо. И в этот момент она перестанет реагировать на протесты: «Успокойтесь, я знаю, что делаю. Вам это понравится. Вы думаете, это плохо, но на самом деле это полезно. Доверьтесь мне».

Я сказал Хэдфилду-Менеллу, что чтение их статьи напоминает катание на эмоциональных американских горках. Сначала мы видим счастливый конец: неопределенность решает проблему выключения! А затем резкий разворот – это работает, только при двух очень хрупких условиях: система никогда не должна быть слишком уверена в себе, а человек никогда не должен совершать поступков, которые ИИ сочтет ошибкой или иррациональностью. Статья внезапно меняет тон и победного на тревожный.

«Именно, – ответил он. – Американские горки идеально отражают мой опыт. От эйфории „Ого, мы придумали что‐то хорошее!“ до паники „Черт, все это рухнет, стоит человеку хоть на йоту отступить от рациональности!“».

В последующем исследовании, которым руководила аспирантка из Беркли Смита Милли, команда задалась вопросом: «Должны ли роботы всегда быть послушными?» [761] Ученые отметили, что люди часто сами не знают, чего хотят, или делают плохой выбор. В таких случаях мы бы хотели, чтобы умная система нас ослушалась, потому что она объективно может обладать лучшей информацией.

«Бывают ситуации, когда излишняя покорность ИИ вредна, – рассуждала Милли. – Например, если человек совершает случайную ошибку. Скажем, я еду на беспилотном автомобиле и случайно задеваю руль. Я бы не хотела, чтобы машина тут же беспрекословно отключила автопилот в опасной ситуации» [762].

Но в этом есть загвоздка. Если созданная системой модель ваших