Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

по сравнению с контролируемым и неконтролируемым обучением в том, что награды и наказания, которые мы получаем от окружающей среды, по причине скалярности очень сжаты. Языковой модели, обучающейся находить отсутствующее слово, после каждой попытки сообщают, какой вариант был правильным. Классификатор изображений, пытающийся определить нужную категорию, немедленно получает верную подпись для картинки. Затем программа явным образом настраивается в сторону правильного ответа. Напротив, при обучении с подкреплением попытки изо всех сил увеличить счет в какой‐либо обстановке приводят к тому, что система узнает итоговый счет, но она, выиграв или проиграв, может никогда не узнать, какие «правильные» или «лучшие» действия следовало предпринять. Когда взрывается ракета, или рушится мост, или падает стопка тарелок, которую вы пытались донести до мойки, или пущенный вами мяч летит мимо ворот, результат абсолютно понятен всему миру. Однако никто не скажет, как именно вы должны были поступить.

Как заключает Эндрю Барто, обучение с подкреплением больше похоже не на обучение с учителем, а на обучение с критиком [328]. Критик может быть сколь угодно умным, но он куда меньше склонен помогать. Учитель будет заглядывать в вашу работу через плечо, мгновенно исправлять сделанные ошибки и говорить или показывать, как следовало поступить. Критик ждет, когда вы закончите свою работу, а потом выкрикивает: «Фу!» с заднего ряда аудитории, не давая никаких намеков на то, что именно ему не понравилось или что конкретно он предпочел бы видеть. Критик может не дать вам никакого намека или конструктивной обратной связи; у него самого может не остаться ничего, кроме некой степени, как говорил Торндайк, «удовлетворения или раздражения».

В-третьих, обратная связь оказывается не только скудной и неконструктивной, она еще и откладывается. Мы, к примеру, можем сделать безнадежный промах на пятом ходу игры, а последствия скажутся лишь сто ходов спустя. На ум приходит фраза, сказанная тем, кто испытывает горечь проигрыша или поражения, – разочарованным родителем, обанкротившимся бизнесменом, пойманным воришкой: «Где же я ошибся?» В обучении с подкреплением это называется задачей назначения коэффициентов доверия, исследователи пытаются решить ее с середины прошлого века. Например, Марвин Минский из Массачусетского технологического института писал в своей знаменитой статье 1961 года «Шаг к искусственному интеллекту»: «Когда кто‐то играет в сложную игру, такую как шашки или шахматы, или занимается написанием компьютерной программы, у него есть определенный критерий успеха: проигрыш или выигрыш. Но в процессе каждый конечный успех (или провал) связан с большим количеством внутренних решений. Если в итоге все получилось, как мы можем расставить коэффициенты доверия среди множества решений?» [329]

Минский развивает мысль, подчеркивая главный вопрос: «Предположим, что при выполнении сложного задания, такого как победа в шахматной партии, принимается миллион решений. Можем мы приписать каждому из этих решений… одну миллионную долю коэффициента доверия за выполненное задание?»

После автомобильной аварии, случившейся спустя несколько дней путешествия через всю страну, мы не прослеживаем все свои действия до того момента, как вставили ключ в зажигание, а думаем: «Никогда в жизни больше не сверну налево, выезжая со двора!» Аналогично, если нам поставили мат на 89‐м ходе игры, мы полагаем, что грубую ошибку должны были сделать на 88‐м.

Так как же определить правильные уроки, которые мы можем извлечь как из успеха, так и из поражения? Схема обучения с подкреплением начала открывать целую вереницу фундаментальных проблем обучения и поведения, которые развились в полноценную отрасль и определили курс исследований искусственного интеллекта вплоть до текущего десятилетия. Как и предсказывал Гарри Клопф, мы получили ряд новых вопросов для окружающего нас естественного интеллекта.

Загадочный дофамин

Если людей и животных можно считать стремящимися к максимальным «гетеростатическим» вознаграждениям, само собой разумеется, что эти вознаграждения каким‐то образом управляют некими механизмами мозга. Если действительно существует какая‐либо уникальная скалярная «награда», ради увеличения которой и созданы люди и животные, то может ли она быть такой простой, как, например, электрическая схема в мозгу? В 1950‐х годах двое ученых из университета Макгилл в Монреале Джеймс Олдс и Питер Милнер, были убеждены, что нашли место, где происходит этот процесс.

Олдс и Милнер проводили эксперименты, помещая электроды в мозг крыс и давая животным возможность нажимать на рычаг, после чего происходила электрическая стимуляция определенной части мозга. Ученые обнаружили, что воздействие на некоторые зоны не оказало никакого эффекта на поведение крыс. Но при воздействии на другие участки крысы начинали обходить рычаг как можно дальше, только чтобы случайно его не нажать. Но были и такие зоны – в частности, так называемая область перегородки, – при стимуляции которых крысы хотели лишь нажимать рычаг, подающий ток в этот участок мозга. Они нажимали его по 5000 раз за час, 24 часа в сутки без остановки [330]. «Это вознаграждение полностью захватывает контроль над поведением животного, – писали Олдс и Милнер, – возможно, превосходя любое другое вознаграждение, которое когда‐либо использовалось в экспериментах с животными» [331]. Так было положено начало исследованиям не только поведения человека и животных через призму максимизации, но и существующих молекулярных механизмов самого вознаграждения.

Вначале эти области назвали структурами подкрепления, но вскоре Олдс начал говорить о них как о центрах удовольствия [332]. Последующие исследования доказали, что не только крысы, но и люди способны свернуть со своего пути, чтобы получить удар электрическим током в те же части мозга.

Со временем исследования определили, что те участки мозга, где электрическая стимуляция оказывается наиболее эффективной, – это области, в которых задействованы нейроны, производящие нейромедиатор 3,4‐дигидроксифенетиламин, больше известный под сокращенным названием дофамин [333]. Такие клетки встречаются редко – менее 1 % клеток мозга – и сосредоточены в особых зонах [334]. Одна дофаминовая клетка может в некоторых случаях соединяться с миллионами других нейронов, охватывая большой участок мозга [335]. Они обладают уникально широкой сетью связей, общая длина которых для отдельных клеток достигает четырех с половиной метров [336]. В то же время они достаточно ограничены в диапазоне и сложности выходных сигналов. Специалист по нейронауке из Нью-Йоркского университета Пол Глимчер заключил: «Они мало что могут сказать всему головному мозгу, но то, что они говорят, должно быть слышно повсюду» [337].

Другими словами, эти клетки во многом напоминают «шкалу вознаграждений», что‐то вроде очков на табло головного мозга – предельно простые, но широко распространенные и чрезвычайно важные.

За 1980‐е электрофизиология продвинулась до того, чтобы наблюдать за отдельными дофаминовыми нейронами в реальном времени. Немецкий нейрофизиолог Вольфрам Шульц в лаборатории во Фрибуре, Швейцария, начал изучать поведение дофаминовых нейронов у обезьян, когда они добирались до коробки, которая то была пустой, то содержала маленькие кусочки фруктов или выпечки. Само собой, «всплеск импульсов происходил, когда рука обезьяны касалась кусочка еды