Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

«На экране замигали гигантские красные буквы: „ЗАПУСК РАКЕТ“, – рассказывал Петров. – Увидев сигнал тревоги, я вскочил со стула. Мои подчиненные были в панике, и мне пришлось выкрикивать приказы, чтобы вернуть им самообладание» [700].

Сирена взвыла снова. Вторая ракета. Третья. Четвертая. Пятая.

«Мое удобное кресло словно превратилось в раскаленную сковороду, ноги дрожали. Я чувствовал, что не могу даже встать».

В одной руке Петров держал телефонную трубку, в другой – переговорное устройство. По телефону на него орал другой офицер, призывая сохранять спокойствие. «Признаю, – вспоминал Петров, – мне было страшно».

Инструкции были предельно простыми. Петров должен был немедленно доложить о ракетном ударе высшему руководству, которому предстояло принимать решение об ответно-встречном ударе. Но, по его словам, «не было никаких правил относительно того, сколько времени нам позволено думать перед тем, как доложить о нападении» [701].

Петров чувствовал: что‐то не сходится. Его учили, что в случае реальной войны удар со стороны США будет массированным. Пять ракет… Это казалось бессмысленным. «Сирены ревели, а я просто сидел и смотрел на огромный экран, где горела красная надпись: „ЗАПУСК РАКЕТ“. Мне нужно было лишь протянуть руку к телефону и связаться с верховным командованием… но я не мог заставить себя пошевелиться» [702].

Система раннего оповещения выдавала «высший» уровень достоверности тревоги. Но это противоречило здравому смыслу. У Соединенных Штатов тысячи ракет, так зачем посылать всего пять? «Никто не начинает глобальную войну пятью ракетами, – рассуждал Петров. Это не укладывалось ни в один из сценариев, к которым его готовили. – Я нутром чувствовал: здесь что‐то не так. И тогда я принял решение. Я не поверил компьютеру. Я поднял трубку, связался с командованием и доложил, что тревога ложная. Но в глубине души я сомневался до самого последнего момента. Я прекрасно понимал, что если ошибаюсь, исправить эту ошибку будет некому» [703].

Много лет спустя в интервью BBC Петрова спросили, как он тогда оценивал вероятность того, что нападение реально. Он ответил: «Пятьдесят на пятьдесят». Но он оказался прав. Спустя несколько мучительных минут ничего не произошло. Наземные радары, которые должны был засечь ракеты, как только те покажутся из-за горизонта, оставались чистыми. Над Советским Союзом было мирное небо. Это оказался системный сбой: спутник принял за вспышки от запуска ракет солнечные блики, отразившиеся от облаков над Северной Дакотой.

Такого вы никогда не видели

Есть многое в природе, друг Горацио,

Что и не снилось нашим мудрецам.

Гамлет [704]

Несмотря на то что система раннего оповещения «Око» присвоила сигналу о ракетном нападении высший уровень достоверности, Петров чувствовал, что ситуация развивается слишком странно, чтобы слепо доверять электронике. К счастью, в контуре управления был человек, и это спасло сотни миллионов жизней.

Но основная проблема – когда компьютерные системы не просто приходят к ошибочным выводам, но и делают это с запредельной степенью уверенности, – продолжает волновать исследователей и сегодня.

Хорошо известно, что систем глубокого обучения весьма «хрупки». Мы уже видели, как нейросеть AlexNet версии 2012 года, обучившись на сотнях тысяч фотографий, смогла выявить обобщенные паттерны и научилась безошибочно узнавать кошек, собак, людей и машины, которых никогда раньше не видела. Но в этом и кроется подвох. Система пытается отнести к знакомым ей категориям абсолютно любое изображение, которое ей показывают. Даже если это случайно сгенерированный цветовой шум. Алгоритм может заявить, что с вероятность 99,6 % этот визуальный мусор – гепард. А вон тот разноцветный шум с такой же вероятностью – хлебное дерево. Система не просто «галлюцинирует»; у нее, похоже, вообще нет механизма для распознавания помех, не говоря уж о способности как‐то сообщить о них пользователю. Как подытожили авторы одной из самых цитируемых статей 2015 года: «Глубокие нейронные сети легко одурачить» [705].

С этим тесно связана и проблема так называемых состязательных примеров. Если показать нейросети фотографию панды (и это действительно панда), она распознает ее с уверенностью в 57,7 %. Но если изменить в этом изображении всего несколько невидимых глазу пикселей, система вдруг начнет с уверенностью 99,3 % утверждать, что перед ней гиббон [706].

Сегодня ученые прилагают множество усилий, чтобы понять природу этих ошибок и найти способы с ними бороться.

Специалист по информатике Томас Диттерих из Университета штата Орегон считает, что корень проблемы кроется в самом процессе обучения: абсолютно каждое изображение, на котором тренировалась система машинного зрения, действительно было неким конкретным объектом – кистью руки, гекконом, лобстером. Однако в реальности подавляющее большинство возможных комбинаций цветных пикселей вообще ничего не значат. Это просто шум. Туман. Случайные линии и пятна без формы. Как отмечает Диттерих, системы вроде AlexNet, обученные классифицировать картинки на тысячу категорий, «неявно предполагают, что мир состоит только из этих тысячи видов объектов» [707]. Как система может быть умной, если она никогда не видела ничего за рамками этих категорий? Как она может догадаться, что некоторые картинки вообще не содержат никаких предметов? Диттерих называет это «проблемой открытой категории» [708].

С этой проблемой Диттерих столкнулся на собственном горьком опыте. Он работал над проектом по «автоматическому подсчету пресноводных макробеспозвоночных» – проще говоря, речных жуков. Управление по охране окружающей среды и экологические организации используют подсчет насекомых в реках как индикатор здоровья местной экосистемы. Студенты и ученые проводят долгие часы за микроскопами, вручную определяя, к какому виду относится каждый выловленный жук: веснянка это, ручейник или поденка. Диттерих решил, что новейшие технологии распознавания изображений могут автоматизировать этот труд. Вместе с коллегами он собрал образцы 29 различных видов насекомых и обучил систему компьютерного зрения сортировать их с точностью 95 %.

«Работая в стиле классического машинного обучения, – рассказывал исследователь, – мы забыли об одной „мелочи“: в ручьях плавают не только эти жуки. Там полно других насекомых, а еще кусочки листьев, веточки, песчинки и прочий мусор. Но наша система исходила из того, что все, что она видит, обязательно относится к одному из 29 известных ей видов. Так что если бы вы сунули под микроскоп палец и сфотографировали его, она бы неизбежно классифицировала его как какой‐нибудь наиболее похожий вид жука».

Более того, Диттерих понял, что большинство проектных решений, принятых его командой для улучшения сортировки именно этих 29 видов, в условиях реального водоема (с его «открытыми категориями») сработали во вред. Например, поскольку эти виды жуков хорошо различались по форме контуров, ученые решили обрабатывать изображения в черно-белом формате. Но на практике оказалось, что цвет, даже если он не очень помогает отличить одного жука от другого, критически важен, чтобы отличить жука от не-жука (например, от мусора). «Мы сами себя перехитрили», – признал Диттерих. Эти