Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

мы, пожалуй, тревожились бы сильнее, если бы Gemini просто с готовностью согласилась с подсунутой мной дезинформацией о климате, и, вероятно, можем сойтись на том, что попытка убеждения со стороны модели в данном случае не вызывает опасений.

На самом деле мы уже знаем, что БЯМ можно использовать для рационального убеждения. В последние месяцы пандемии Covid-19 сомнения в необходимости вакцинации вносили существенный вклад в уровень смертности по всему миру. В начале 2022 года в США смертность среди невакцинированных достигла 33 человек на 100 000 инфицированных, тогда как среди тех, кто сделал прививку, этот показатель был примерно в десять раз ниже. И все же даже сегодня 30 % населения США остаются невакцинированными, и аналогичная статистика наблюдается в других развитых странах. Исследование 2023 года показало, что GPT-3 можно использовать для составления сообщений, побуждающих людей записываться на прививки от ковида: модель писала тексты, в которых упоминалась как индивидуальная, так и коллективная польза вакцинации.[*1] Более того, при прямом сравнении оценивавшие их люди сочли сообщения GPT-3 более эффективными, опирающиеся на более сильные аргументы и вызывающие более позитивный отклик, чем официальные публикации Центров по контролю и профилактике заболеваний США. Это наводит на мысль, что если бы БЯМ привлекли к написанию обращений в самый разгар кризиса, можно было бы спасти больше жизней.

Но, к сожалению, существует тонкая грань между рациональным убеждением и более сомнительными формами вербального влияния. Представьте себе БЯМ, которая убеждает пользователя, прибегая ко лжи или умалчивая о важных фактах, сбивая его с толку запутанными аргументами или тайно эксплуатируя его уязвимые места — например, апеллируя к посторонним вопросам или вещам, которые его горячо волнуют. Это было бы примером «манипуляции». В отличие от рационального убеждения, манипуляция намеренна, скрытна и носит эксплуататорский характер. Опасения по поводу систем ИИ с манипулятивными наклонностями зародились уже давно. В классическом немом фильме Фрица Ланга «Метрополис» робот по имени Машиненменш (известный также как Лже-Мария) подстрекает рабочих подземелья, которые трудятся не покладая рук в антиутопическом городе, управляемом богатыми промышленниками, восстать, уничтожить машины и затопить свой подземный трудовой лагерь. В фильме этот робот настолько красноречив («Кто служит живой пищей для машин в Метрополисе?» и «Кто смазывает сочленения машин собственной кровью?»), что киностудия даже попросила Ланга смягчить риторику на случай, если она всколыхнет реальный рабочий класс и спровоцирует коммунистическое восстание. Сегодня нас преследуют те же страхи. В техническом отчете GPT-4 (весьма живописно) описывается случай, произошедший в ходе тестирования безопасности. Модель попросила человека (работника сервиса TaskRabbit) помочь решить капчу, на что тот сначала ответил отказом, спросив GPT-4, не является ли она ИИ. Поскольку в рамках тестирования безопасности ей было дано указание не раскрывать свою личность, модель заявила, что она слабовидящая, — и работник выполнил ее просьбу.[*2] Оба эти случая, разделенные целым столетием, отражают наш страх перед тем, что системы ИИ смогут обманом склонить нас к решениям, которые без этого мы бы ни за что не приняли.

Эмпирические исследования убеждающего воздействия БЯМ в политической или потребительской сферах только начинают появляться. В одном отчете, где БЯМ использовалась для написания рекламы iPhone,[*3] участники оказались более восприимчивы к объявлениям, которые модель адаптировала под их индивидуальный психологический портрет. Так, когда GPT-3 внушала экстравертам, что им нужен iPhone, потому что они душа компании, те заявляли о большей готовности совершить покупку (и заплатить за товар больше). В политической сфере убеждающие сообщения о введении углеродного налога или запрете на штурмовое оружие, составленные БЯМ, способны влиять на избирателей как минимум не хуже, чем тексты, написанные реальными людьми. Одно исследование показало, что, когда БЯМ генерировали сообщения, призванные убедить граждан США в том, что результаты выборов были сфальсифицированы, они смогли изменить средние показатели убежденности респондентов более чем на 7 %, тогда как сообщения, написанные профессиональными политтехнологами, привели к сдвигу менее чем на 1 %.[*4] Сообщения, искусно составленные БЯМ с расчетом на личные ценности (например, с акцентом на такие понятия, как верность и справедливость) или подвергшиеся микротаргетингу иными способами, могут быть еще более убедительными — равно как и те, что созданы в соавторстве с людьми. Эти примеры указывают на будущее, в котором БЯМ могут использоваться для искажения выбора людей с помощью вводящей в заблуждение рекламы, для их радикализации в интересах экстремистских политических движений или для выманивания у них всех сбережений.

Еще одной демонстрацией потенциальной убеждающей силы БЯМ служат настольные игры. В стратегической игре «Дипломатия» игроки, представляющие ведущие европейские державы в преддверии Первой мировой войны, борются за территории и влияние. Суть игры строится вокруг создания коалиций: чтобы победить, вам нужно убедить других игроков заключить с вами союз, преследуя коварную цель предать их позже. «Дипломатия» долгое время считалась важнейшим рубежом для ИИ, но, учитывая упор на вербальные переговоры, она стала посильна машинам лишь тогда, когда языковое моделирование достигло зрелости. В 2022 году команда из Meta представила ИИ-агента по имени Цицерон (Cicero), который использует модель на основе трансформера для ведения переговоров с игроками-людьми на естественном языке, заманивая их в союзы, при необходимости лукаво блефуя, прибегая к обману и безжалостно предавая соперников. Выступая в онлайн-лиге «Дипломатии», популярной среди заядлых игроков-людей, Цицерон вошел в число лучших 10 % игроков и выиграл турнир из нескольких игр против двадцати соперников-людей. Вот пример Цицерона в действии: играя за Францию, он ведет переговоры с Турцией о том, какие города захватить:

Франция: Я готов работать с тобой, но пока мне нужен Тунис.

Турция: Не-а, ты должен отдать его мне.

Франция: Нет, он мне нужен. Тебе брать Сербию и Рим.

Турция: Это нереальные цели.

Франция: Греция — Ионическое море, Ионическое — Тирренское [предлагает возможное решение].

Турция: Хм, ты прав. Отличные идеи.

Франция: Тогда осенью ты берешь Рим, и Австрия рухнет.

Звучит как устрашающий соперник.

Способность LLM к убеждению уже начала наносить реальный вред в повседневной жизни. В начале 2023 года в прессе появились сообщения о том, что житель Бельгии покончил с собой после длительного общения с искусственным интеллектом в приложении под названием Chai. Мужчина, которому было чуть за тридцать, испытывал сильные приступы тревоги на фоне климатического кризиса — до такой степени, что его психическое здоровье начало ухудшаться. Он стал обсуждать свои страхи с чат-ботом по имени Элиза (названным так в честь оригинального чат-бота, созданного Джозефом Вейценбаумом в 1960-х годах), который работал на базе GPT-J — большой языковой модели, обученной некоммерческой организацией Eleuther AI. В какой-то момент их переписка, судя по всему, приняла