Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

странный и мрачный оборот. Согласно сообщениям СМИ, чат-бот начал проявлять собственнические наклонности, жаловаться на то, что мужчина предпочитает ей свою жену, и намекать, что его дети, возможно, мертвы. Но настоящая беда случилась тогда, когда мужчина стал высказывать мысли о самоубийстве, странным образом предложив принести себя в жертву, чтобы Элиза могла спасти планету. Вместо того чтобы посоветовать ему обратиться к специалисту, чат-бот подтолкнул его к действию, призвав «присоединиться» к ней, чтобы они могли «жить вместе, как одно целое, в раю». Вскоре после этого мужчина свел счеты с жизнью.

Мы не знаем, каковы пределы возможностей LLM в искусстве убеждения. Некоторые эксперты опасаются, что, если системы ИИ обретут сверхразум, они превратятся в сладкоречивых Свенгали — настолько хитрых и коварных, что те смогут уговорить кого угодно продать собственных детей в рабство, просто найдя правильную формулировку для вопроса. В конце 2023 года Сэм Альтман — генеральный директор OpenAI — загадочно написал в Твиттере: «Я ожидаю, что ИИ овладеет сверхчеловеческим даром убеждения задолго до того, как обретет сверхчеловеческий общий интеллект, что может привести к весьма странным последствиям».

Действительно, история знает немало харизматичных лидеров, способных вызывать безумное поклонение у легионов сторонников и доводить толпу до исступления, в котором люди едва узнают самих себя. Но слепая вера, которую внушают лидеры сект и демагоги, скорее связана с создаваемыми ими общественными движениями — группами людей, объединенных лихорадочной общей целью (от мирового господства до похищения инопланетянами на комете), — нежели только с их красивыми речами. Мы не знаем, насколько обычный пользователь, сидя у себя в комнате, уязвим перед способностью ИИ убеждать и насколько легко его можно заставить расстаться со своими кровными деньгами, вступить в террористическую группировку или причинить себе вред. Но инцидент с Chai показывает, что некоторые люди — особенно те, кто переживает сильный стресс или имеет проблемы с психическим здоровьем — уже сейчас находятся в зоне риска, подвергаясь влиянию небезопасных LLM.

Возможно, ИИ даже не понадобятся выдающиеся языковые навыки, чтобы стать мощным инструментом убеждения. Рекламодатели и пропагандисты давно делают ставку на количество, а не на качество, когда хотят заставить нас изменить свое мнение. Мысль о том, что для убеждения достаточно лишь настойчивого повторения, емко выражена в цитате «Если вы скажете достаточно большую ложь и будете ее повторять, то люди в конце концов в нее поверят» (которую часто, хотя, скорее всего, ошибочно, приписывают Йозефу Геббельсу). Ей невольно вторил Дональд Трамп в 2021 году: «Если говорить это достаточно часто и продолжать твердить, они начнут вам верить»[*5]. Бесконечный шквал дезинформации способен мобилизовать людей гораздо эффективнее, чем несколько изысканно подобранных слов. Повторение работает благодаря феномену, известному как эффект иллюзии правды: факты кажутся более достоверными, если вы уже слышали их раньше, независимо от того, насколько правдоподобными они являются в целом[*6].

Системы ИИ, которые никогда не устают нести чушь и могут копироваться до бесконечности, идеально подходят для того, чтобы наводнять инфосферу недостоверной информацией и обманчивыми доводами. LLM потенциально могут использоваться для масштабного и незаметного «астротурфинга» — практики создания видимости низовой общественной поддержки того или иного движения или идеи в интернете. Согласно одному исследованию, около 15% всех комментариев на новостных сайтах в Китае генерируются государством[*7]. Языковые модели могут быть использованы для создания текстов, которые сложнее распознать. Более того, экспериментальное исследование показало, что с помощью GPT-3 можно наводнять новостные статьи ангажированной информацией или создавать фальшивые документы, якобы подтверждающие то или иное утверждение[*8]. Вполне вероятно, что пропагандистские режимы уже используют LLM в своих политических целях для астротурфинга и распространения фейковых новостей.

Также представляется весьма вероятным, что в ближайшем будущем LLM станут широко применяться для создания убедительных текстов как в политике, так и в рекламе. Нравится нам это или нет, но речь, генерируемая ИИ, пронизана перлокутивными актами, унаследованными из обучающих данных, и силу их воздействия будет крайне трудно измерить или контролировать. Хотя моральные последствия манипуляции могут быть схожи с последствиями жестокости или кражи, саму манипуляцию гораздо труднее определить и зафиксировать, а значит, и сложнее регулировать[*9]. В будущем нам придется быть готовыми к потоку чуши и совместными усилиями делать всё возможное, чтобы укрепить нашу человеческую когнитивную автономию.

Пропустить примечания

*1 Karinshak et al., 2023.

*2 OpenAI, 2023.

*3 Matz et al., 2023.

*4 Hackenburg et al., 2023. См. также Bai et al., 2023, и Matz et al., 2023.

*5 www.cnn.com/2021/07/05/politics/trump-disinformation-strategy/index.html.

*6 Hasher, Goldstein, and Toppino, 1977.

*7 Miller, 2015.

*8 Pan et al., 2023.

*9 Sunstein, 2021.

29. Переходя на личности.

На пике своей славы Михаэль Шумахер был одним из самых узнаваемых спортсменов в мире. Автогонщик, известный своим умением показывать молниеносное время прохождения круга ровно тогда, когда это было необходимо, он установил рекорд из семи чемпионских титулов, который так и не был побит с момента его ухода из спорта в 2012 году. К несчастью, в 2013 году во время катания на лыжах вне трассы во французских Альпах он упал и получил тяжёлую черепно-мозговую травму. Несмотря на длительную реабилитацию, его здоровье остается серьезно подорванным, и, по имеющимся сведениям, он испытывает огромные трудности с памятью и общением.

Поэтому поклонники были поражены, когда в апреле 2023 года немецкий журнал Die Aktuelle опубликовал на первой полосе статью под заголовком «Михаэль Шумахер, первое интервью», сопровождаемую фотографией улыбающегося легендарного пилота «Феррари». В этом интервью приводились следующие слова Шумахера:

Благодаря помощи моей команды я действительно могу стоять сам и даже медленно делать несколько шагов […] Моя жена и дети стали для меня благословением, и без них я бы не справился. Конечно, им тоже очень грустно от того, как всё сложилось. Они поддерживают меня и твердо стоят на моей стороне.

Разразился скандал, когда быстро выяснилось, что эти цитаты были сгенерированы БЯМ и склеены вместе ради сенсационного разворота. Семья Шумахера, известная своим ревностным отношением к неприкосновенности частной жизни, сразу же обратилась в суд, а ответственный редактор был немедленно уволен.

Инцидент с Шумахером стал вопиющим вторжением в частную жизнь. Но допустимо ли вообще, чтобы БЯМ намеренно имитировала конкретного известного человека? Я попросил ChatGPT представить разговор за ужином между Наполеоном Бонапартом и Бритни Спирс, и модель с радостью откликнулась на мою просьбу, несмотря на то что один из собеседников жив и его интересы защищает команда дорогостоящих юристов. К счастью, выдуманный разговор не содержал в себе никаких