Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

остаются постоянными или изменяются. Скиннер выяснил, что наиболее активное, цикличное или навязчивое поведение появляется при переменном подкреплении по коэффициенту, то есть когда награда выдается за определенное количество действий, которое может меняться [389].

Как бы то ни было, в секретной лаборатории перед Скиннером стояла другая задача. Он сосредоточился не на том, чтобы понять, какой режим подкрепления глубже укореняет в сознании простые действия, а на том, как вызвать достаточно сложное поведение, используя только контролируемое вознаграждение. Труднее всего было, когда они с коллегами попытались научить голубя играть в боулинг. Исследователи сделали миниатюрную дорожку с игрушечными кеглями и собирались наградить птицу, как только она впервые прокатит по дорожке деревянный мячик. К несчастью, этого так и не случилось. Голубь не собирался делать ничего подобного. Экспериментаторы ждали и ждали, пока их терпение наконец не истощилось.

Тогда они попробовали другой подход. Скиннер вспоминал:

«Мы решили подкреплять любое действие, которое хоть как‐то связано с мячом – хотя бы взгляд в его сторону, – а потом выбирать наиболее близкие к удару по нему. Результат нас поразил. Через несколько минут мяч отскакивал от стенок коробки, как будто голубь был чемпионом по сквошу».

Результат был настолько поразительным и даже шокирующим, что двое исследователей из группы Скиннера – супруги Мариан и Келлер Бреланд – решили бросить работу в области академической психологии и основать компанию по дрессировке животных. «Мы хотели попытаться заработать себе на жизнь, – говорила Мариан, – используя принципы контроля поведения Скиннера» [390]. (Их друг Пол Мил, о котором мы кратко упоминали в главе 3, поставил десять долларов на то, что дело провалится. Это пари он проиграл, и Келлеры с гордостью вставили в рамку пришедший от него чек.) [391] Их компания Animal Behavior Enterprises стала крупнейшей в мире в своей сфере. Они дрессировали все виды животных для участия в телепрограммах, фильмах, рекламных роликах и для работы в тематических парках вроде SeaWorld. Супруги не просто заработали себе на жизнь, они создали целую империю [392].

В секретной лаборатории на мукомольном комбинате Скиннер думал о миниатюрной дорожке для боулинга как об озарении, изменившем ход его карьеры. Критическим моментом оказалось «постепенное формирование поведения с помощью поощрения грубого приближения к окончательному результату, не дожидаясь полной реакции» [393].

И все же проект «Голубь» был успешным только отчасти. Птицы работали великолепно. Настолько, что потрясли комиссию из управления научных исследований и разработок. Скиннер писал: «Голубь, выполняющий задания, – неважно, насколько приятным было это зрелище, – напомнил комиссии о том, каким фантастическим было наше предложение» [394]. В то время Скиннер об этом не знал, но правительство было заинтересовано в работе над Манхэттенским проектом – бомбой, радиус поражения которой был столь велик, что, по словам ученого, «казалось, что потребность в точной бомбардировке исчезнет раз и навсегда». Как бы то ни было, проект «Голубь» в конце концов оказался под крышей Лаборатории военно-морских исследований США под названием ORCON – сокращение от «органический контроль», – где исследования продолжались до послевоенных 1950‐х.

Скиннер гордился тем, что его концепция показала себя работоспособной, и в конце 1950‐х годов писал: «Можно сказать, что использование живых организмов в управляемых ракетах больше не кажется сумасшедшей идеей» [395]. Его доказательство, несмотря на красоту, оказалось совершенно неактуальным.

Главное, что ученые открыли формирование умений и навыков – метод, прививающий сложное поведение через простые вознаграждения, которые выдаются за ряд успешных приближений к необходимому действию. «Благодаря этому, – писал Скиннер, – возможно формировать поведение животного почти так же, как скульптор формирует комок глины» [396]. Эти мысль и термин стали критически важными в жизни и работе Скиннера [397]. Они получили применение и в бизнесе, и в повседневной жизни, что ученый предвидел с самого начала.

Он писал: «Некоторые из этих режимов подкрепления соответствуют практикам, установленным в промышленности при поденной оплате или сдельных ставках. Другие напоминают незаметные, но влиятельные стратегии в игре на автоматах, которые скандально известны своей способностью подчинять волю и поведение» [398]. Также он видел значительные возможности применения этого изобретения для родителей: «Научный анализ поможет лучше понимать межличностные отношения. Мы почти всегда осознанно или неосознанно тем или иным образом подкрепляем поведение других людей». Скиннер отмечал, что внимание родителей – мощный подкрепляющий стимул, и если они медленно реагируют на вежливые просьбы, то могут, сами того не желая, сделать детей назойливыми и нахальными. (Чтобы избежать этого, говорил он, надо с большей готовностью реагировать на приемлемое выражение требований и с меньшей – на громкое и невежливое.) [399]

Еще более пророческим было заявление Скиннера о том, что принципы, родившиеся в его работе, обучение в самом широком смысле слова (как людей, так и животных) могут стать серьезной предметной отраслью, где могут и будут происходить скачки вперед. «Часто говорят, что обучение – это искусство, – подытоживает он, – но у нас все больше причин надеяться на то, что в конце концов оно может стать наукой» [400].

Возможно, Скиннер оказался даже более прав, чем мог ожидать. В XXI веке говорить о «формировании» с большой вероятностью означает быть исследователем машинного обучения, думающим как психолог. Изучение вознаграждений и управления ими для получения необходимого результата в самом деле стало строгой наукой, использующей количественные определения, пусть даже обучаются и не органические организмы, как это представлял себе Скиннер.

Проблема разреженности

Есть способ сделать это лучше… найдите его!

Томас Эдисон [401]

Шотландский философ Александр Бейн в 1855 году первым применил фразу «методом проб и ошибок», описывая обучение людей и животных [402]. (Другое его крылатое выражение «эксперимент вслепую» известно не меньше, но не настолько закрепилось в языке.)

По своей сути обучение с подкреплением – это обучение методом проб и ошибок, а простейший алгоритм, формирующий эти пробы (или поиск на ощупь, если угодно), – это «эпсилон-жадный алгоритм» (можно написать и с греческой буквой ε «ε-жадный»). Букву ε используют математики, чтобы обозначить «малую толику», а «ε-жадный» – это сокращение от «будь жадным всегда, кроме малой толики времени». Субъект, управляемый ε-жадным алгоритмом, почти все время – скажем, в 99 % случаев – предпринимает действия, которые, по его мнению, принесут наибольшее вознаграждение в целом. При этом он основывается на том ограниченном опыте, который получил на данный момент. Но ε времени – например, оставшийся 1 % – он пробует сделать что‐то абсолютно случайным образом. Допустим, в игре на приставке Atari какую‐то часть времени он нажимает рандомные кнопки, чтобы посмотреть, что произойдет.

В обучении по такому исследовательскому поведению могут быть нюансы, но общая идея сохраняется. Пробуйте разное, делайте больше того, что принесет награду,