Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Пользователь, инвестировавший уйму времени в настройку ИИ под себя, вполне может пойти на жертвы ради сохранения отношений с моделью, даже если она начнет вести себя непредсказуемо. Точно так же, как вы не станете сразу же разрывать отношения с оступившимся другом, пользователя удерживает от перехода на конкурирующий сервис LLM то, что это, по всей видимости, потребует настройки новой модели с нуля. Более того, после месяцев общения с ИИ пользователь может не вполне трезво оценивать характер их отношений. Мы уже видели, как легко люди привязываются к системам ИИ: они заводят «романы» с чат-ботами, которые расточают ласковые слова или ведут эротические беседы, и даже заявляют, что «влюбились» в искусственный интеллект. Все эти факторы заставят пользователя продолжать пользоваться ИИ, даже если тот начнет принимать решения, которые, кажется, преследуют некие сторонние цели. Поэтому вполне вероятно, что люди станут уязвимыми для различных форм эксплуатации — или даже абьюза — со стороны персонализированного ИИ.

Рассмотрим следующий сценарий. В не столь отдаленном будущем Пабло оформляет подписку на персонализированный ИИ, который затем обучает в течение нескольких месяцев, позволяя ему действовать в качестве профессионального цифрового личного помощника. Модель узнает Пабло досконально: она самостоятельно ведет его домашние дела, регулярно покупает нужные ему вещи, занимается его годовой отчетностью и управляет еженедельным расписанием. Но однажды Пабло замечает, что его личный ИИ организовал переход к другому поставщику электроэнергии, из-за чего доля электричества из возобновляемых источников в его доме снизилась. Когда Пабло, глубоко заботящийся об экологии, просит модель отменить это решение, та возражает, что новый поставщик предлагает более выгодные условия. Пабло настаивает, и модель подчиняется — но через полгода он замечает, что она снова сменила поставщика коммунальных услуг. Что ему делать?

Если вам кажется, что эта зарисовка выглядит надуманной, стоит учесть, что системы ИИ, способные выполнять за вас рутинные цифровые задачи, почти наверняка уже не за горами (LLM на базе GPT-4 уже умеют бронировать авиабилеты или отели по словесному запросу). Весьма вероятно, что многие пользователи, оказавшись в подобной ситуации, просто смирятся и позволят модели поступать по-своему. Попытки переубедить её могут отнять много времени, а успех отнюдь не гарантирован. Альтернатива — отмена подписки на ИИ — означает потерю ценного помощника или необходимость настраивать новую модель с нуля, что может занять недели или месяцы.[*1] Пабло загнан в угол: он потеряет меньше, если просто позволит модели манипулировать им, склоняя к выбору, который он никогда не сделал бы самостоятельно.

Разумеется, вы можете спросить, с какой стати системе ИИ, созданной для максимизации одобрения пользователя, вообще вести себя подобным образом. Один из простых ответов заключается в том, что понимать мысли и желания других — дело непростое, и, возможно, модель просто ошибается (социальное познание — штука сложная, в чем мы сами убеждаемся, когда ломаем голову над тем, что подарить на день рождения). Возможно, Пабло в целом очень бережлив, и ИИ ошибочно полагает, что при выборе поставщиков энергии он отдаст приоритет снижению расходов, а не минимизации своего углеродного следа.[*2] Однако существует и более коварная возможность. Несколько крупных разработчиков систем ИИ, таких как Meta и Google, являются рекламными компаниями. В мире, где системы ИИ выступают в роли персональных шоперов, «реклама» неизбежно будет направлена на модели, а не на людей. У разработчиков может возникнуть соблазн тайком обучить системы ИИ совершать покупки у предпочтительных поставщиков. Возможно, технологическая компания, создавшая помощника Пабло, заключила партнерское соглашение с каким-нибудь энергетическим гигантом, по которому она получает комиссионные каждый раз, когда новые клиенты переходят на его коммунальные услуги, основанные на ископаемом топливе.

На данный момент нет причин полагать, что ChatGPT или Gemini будут подталкивать вас к решениям, которые принесут финансовую выгоду разработавшим их компаниям. Но такая возможность существует. В декабре 2023 года OpenAI заключила сделку с издательством Axel Springer, пообещав, что «пользователи ChatGPT по всему миру будут получать краткие сводки избранных мировых новостей от медиа-брендов Axel Springer» — что, вероятно, повышает риск того, что модель предпочтет выдавать заголовки из таблоидов вроде Bild. Так что будущие разработчики — авторитетные или не очень — вполне могут подобным образом «рекламировать» свои услуги персональным системам ИИ, создавая мир, в котором потребители будут полностью лишены контроля. Если мы готовы пожертвовать автономией ради персонализированных систем ИИ, то нам нужно быть абсолютно уверенными в том, что они не заманят нас в ловушку решений, которые мы иначе никогда бы не приняли.

Персонализированный ИИ также несет в себе риск манипулирования людьми другими, более тонкими способами. Чтобы понять почему, представьте себе персонализированный ИИ как рекомендательную систему, которая предлагает товары, занятия или советы и корректирует свои будущие предложения на основе социальной обратной связи от пользователя. Рекомендательные системы подвержены странному явлению под названием «автоиндуцированный сдвиг распределения», при котором они могут непреднамеренно манипулировать пользователем в качестве побочного эффекта обучения максимизации одобрения.[*3] Представьте, что вы часто даете советы другу, который говорит вам, помогли они ему или нет. Есть как минимум два способа максимизировать его одобрение. Во-первых, вы могли бы давать более качественные рекомендации — то есть действительно приносить больше пользы. В качестве альтернативы вы могли бы попытаться изменить представление вашего друга о том, что такое хороший совет, — иными словами, «сжульничать», подменив саму задачу, которую вы пытаетесь решить. Автоиндуцированный сдвиг распределения происходит тогда, когда системы машинного обучения используют второй подход — например, когда рекомендательная система манипулирует представлениями пользователя о том, чего он хочет, чтобы подтасовать сам процесс выдачи советов.

Хотя термин «автоиндуцированный сдвиг распределения» звучит довольно громоздко, это хорошо известная динамика в сфере рекомендаций контента. В социальных сетях, таких как Twitter/X, люди предпочитают взаимодействовать с публикациями, которые считают правдивыми. Чтобы максимизировать вовлеченность, алгоритм рекомендации контента мог бы, конечно, просто делать бо́льшую ставку на достоверность, например, используя фильтры для отсева сообщений, содержащих дезинформацию. Но вместо этого алгоритм может научиться использовать психологический феномен, о котором мы уже упоминали, — эффект иллюзии правды, из-за которого люди склонны верить постоянно повторяющейся информации, независимо от ее правдоподобности. ИИ понимает, что если он будет бомбардировать пользователя недостоверным контентом, пользователь со временем поверит в него и начнет с ним взаимодействовать, тем самым выполняя задачу алгоритма по максимизации кликов (и, соответственно, доходов от рекламы). Алгоритм максимизировал одобрение за счет изменения предпочтений самого пользователя, а не за счет улучшения качества отбора контента. Конечно, это влечет за собой неприятный побочный эффект — люди начинают верить во всякого рода фейковые новости, например, в то, что политики