Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

мы привыкаем взаимодействовать с ними, появляется как минимум два повода для радости. Во-первых, у нас уже есть зачатки цифровой платформы, позволяющей машинам действовать не вместо человека, а совместно с ним. Во-вторых, у нас накоплен огромный массив исследования о совместной работе людей, и эти открытия все чаще оказываются применимы к обучению ИИ.

Опираясь на уже существующие методы – такие как глубокое обучение с подкреплением на основе предпочтений человека (разработанное Кристиано и Лейке) или совместное обратное обучение Рассела и Хэдфилда-Менелла, – мы можем представить себе путь к созданию всесторонне развитых и полезных машин, способных улавливать тончайшие нюансы наших намерений. Разумеется, впереди еще много препятствий и программ, но направление движения теперь видно гораздо отчетливее.

Однако здесь же кроется и повод для осторожности. Компьютерные помощники (как цифровые, так и роботизированные), которые появятся в ближайшем будущем, почти всегда будут иметь конфликт интересов. Они станут слугами двух господ: своего владельца и корпорации-создателя. В этом смысле они напоминают продавцов, работающих за процент: они никогда не будут помогать нам, не желая (пусть и неявно) чего‐то взамен. Они будут делать хитрые выводы, о которых мы их не просили. И мы осознаем, что уже сейчас никогда не действуем в одиночку.

Как писала британская писательница Айрис Мердок: «Самопознание позволит нам избегать искушений, и это лучше, чем пытаться одолеть их одной лишь силой воли» [692]. Народная мудрость гласит: если у вас зависимость от алкоголя [693], лучше вылить все запасы в доме до последней капли, чем держать их перед глазами и терпеть. Но модели предпочтений этого не понимают [694]. И людям, борющимся с зависимостью, приходится туго: они заходят в телефон, чтобы просто написать друзьям и посмотреть фото, а какой‐то алкомаркер преследует их повсюду, даже в туалете! Это выглядит так, словно их собственный кухонный шкаф внезапно начал работать на пивоваренную компанию.

Я и сам стараюсь вести себя осмотрительно в Интернете. Все, что напоминает прокрастинацию или сиюминутные слабости – будь то чтение новостей, зависание в соцсетях или другие цифровые пороки, от которых я предпочел бы избавиться в будущем, – я открываю в анонимной вкладке без cookies и авторизации. Не потому, что мне стыдно; я просто не хочу, чтобы алгоритмы подкрепляли это поведение.

В таких ситуациях мы ждем от алгоритмов нечто иного, а не стандартного: «вычислить мои цели по моим действиям и сделать так, чтобы мне было проще этим заниматься». Фактически мы хотим сказать машине: «Не думай, что я хочу это делать, только потому, что я это делаю. Не облегчай мне задачу. Не поощряй это поведение, не прокладывай к нему удобный маршрут. Пожалуйста, оставь эти соблазны позади».

Думаю, здесь затронут важнейший политический вопрос, который не менее значим, чем теоретические споры о ИИ. Мы должны всерьез обсуждать право пользователя не только видеть, но и изменять любую модель предпочтений, которую строит на него сайт, приложение или рекламодатель. По сути, я имею право на собственную цифровую модель. Я имею право сказать машине: «Это не тот человек, которым я являюсь». Или, что еще важнее: «Это тот человек, которым я хочу быть. Вот в чьих интересах ты должна работать».

В этом и заключается сложность момента. Цифровые «дворецкие» внимательно следят за нами. Они видят нашу личную и публичную жизнь, наблюдают нас в лучшие и худшие моменты, но при этом совершенно не осознают разницы между ними. Эти системы застряли в своего рода «зловещей долине» алгоритмической изощренности: они умеют выводить сложные модели наших желаний на основе поведения, но не принимают возражений и не настроены на подлинное сотрудничество. Они постоянно вычисляют, что мы сделаем дальше и как на этом заработать, но, кажется, совершено не понимаю, чего мы по-настоящему хотим и – тем более – кем надеемся стать.

Кто‐то может возразить, что этот надзор сделает нас лучше. Действительно, людям свойственно вести себя порядочнее, когда они чувствуют, что за ними наблюдают. Лабораторные исследования показывают, что люди реже жульничают под прицелом видеокамер, в комнатах с зеркалами Гезелла (зеркалами-шпионами) или просто при ярком освещении [695]. Да что там – порой достаточно даже намека на наблюдение: нарисованного на стене глаза или обычного зеркала, чтобы эффект сработал [696].

Схожая идея когда‐то вдохновила философа XVIII века Иеремию Бентама на создание «паноптикума» – проекта цилиндрической тюрьмы, где камеры расположены вокруг центральной башни надзирателя. Заключенные там никогда не знали, смотрят на них в данный момент или нет. Бентам восхвалял благотворный эффект даже не самого наблюдения, а одной лишь угрозы. Он называл свой проект «машиной, превращающей бандитов в честных людей» [697] и обещал, что она способна «исправить мораль, сохранить здоровье, укрепить промышленность, распространить образование, снизить государственные затраты… и все это – благодаря одной лишь архитектурной идее» [698].

С другой стороны, такой тотальный контроль может оказывать подавляющий и демотивирующий эффект. Мы точно не хотим, чтобы жизнь за стенами тюрьмы напоминала существование внутри Паноптикума.

Существует и менее зловещая, но не менее важная проблема. Базовая математика обратного обучения с подкреплением исходит из того, что пример подает идеальный эксперт – человек, который точно знает, чего хочет, и всегда делает правильные шаги к цели. Если же это не так, система начинает усиливать бестолковые действия новичка или воспринимает случайные эксперименты как строгие правила. Мы ползаем, прежде чем научиться ходить, и ходим, прежде чем сесть за руль. Возможно, нам вовсе не нужно, чтобы машины автоматически усиливали и закрепляли каждое наше неуклюжее движение.

К худу или к добру, но мы оказались именно в такой реальности – и сейчас, и в обозримом будущем. Нас будут знать лучше, чем когда‐либо. И мир неизбежно наполнится цифровыми «двухлетками», которые будут бежать впереди нас, радостно распахивая те двери, которые мы, по их мнению, хотим открыть, пытаясь помочь нам на свой, алгоритмический лад.

9. Неопределенность

Большинство величайших зол, которые человек причинил человеку, произошли из-за того, что люди чувствовали себя совершенно уверенными в чем‐то, что на самом деле было ложным.

Бертран Рассел [699]

Заклинаю вас всеми страстями христовыми – задумайтесь на минуту о том, что вы можете ошибаться.

Оливер Кромвель

Дух свободы – это дух, который не слишком уверен в своей правоте.

Лернед Хэнд

26 сентября 1983 года, сразу после полуночи, Станислав Петров дежурил на секретном командном пункте системы предупреждения о ракетном нападении «Око» в бункере под Москвой. Неожиданно экран засветился, и взвыли сирены. Система сообщила о запуске межконтинентальных баллистических ракет LGM‐30 Minuteman с