Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

8.3.5. Усовершенствование методов обнаружения

Синтетические медиа, созданные с помощью ИИ, включая текст, изображения, аудиозаписи и видео, потенциально могут серьезно нарушить нашу информационную экосистему. Как мы уже отмечали, люди могут злоупотреблять генеративным ИИ, чтобы создавать дипфейки, дезинформацию или пропаганду в широком масштабе.

Обнаружение текстов, написанных LLM, оказалось более сложной задачей для моделей, чем генерация самого текста. В статье о классификаторе от OpenAI от 2023 года говорится:

«В январе компания OpenAI, специализирующаяся на разработке ИИ, объявила о выпуске инструмента, который может спасти мир – или, по крайней мере, сохранить душевное равновесие профессоров и преподавателей, – поскольку может определять, был ли написан фрагмент текста с помощью инструментов генеративного ИИ, таких как их собственный ChatGPT. Полгода спустя этот инструмент умер, поскольку не справлялся с теми задачами, для решения которых был создан»25.

Инструмент показывал низкую точность в обнаружении машинно-сгенерированного контента с самого начала, но в то время OpenAI надеялась, что он будет хоть как-то полезен в качестве отправной точки. Поскольку LLM становились все более совершенными, стало уже почти невозможно выявить сгенерированный ими текст. Синтетический контент, созданный с помощью моделей для генерации изображений, аудио и видео в некоторых случаях все еще можно обнаружить с помощью методов, описанных в главе 4, но даже в этих областях возможности быстро сокращаются.

Сейчас активно изучается, как можно внедрить признаки машинной генерации в синтетические медиа, чтобы люди могли определять происхождение контента. В главе 6 мы познакомили вас с идеей маркировки выходных данных LLM, которые помогают отличить машинно-сгенерированный текст от написанного человеком.

К сожалению, нанесение такой маркировки на машинный текст вряд ли когда-либо станет идеальным решением. Чтобы маркировка работала эффективно, ее должны внедрить по всей отрасли и сделать доступной общественности для проверки фрагментов контента. Но если такое решение для проверки станет общедоступным, то люди смогут использовать его для собственных машинных текстов и незначительно их корректировать – возможно, меняя всего лишь несколько слов за раз, – до тех пор, пока текст не пройдет тест на отсутствие маркировки. Помимо этого недостатка, компании могут вообще не захотеть использовать маркировку, поскольку модель создает текст, предсказывая следующее наиболее вероятное слово, а маркировка будет изменять эти вероятности, отдавая предпочтение другим словам. Таким образом, создание текста с маркировкой может означать, что LLM будет давать менее точные и качественные ответы.

Нанесение маркировки на синтетические изображения, видео и другие медиа сопряжено с другими ограничениями. DALLE-E, модель для преобразования текста в изображение от OpenAI, использует видимый водяной знак, но в блогах люди уже написали бесчисленное множество постов с рекомендациями, как удалить его с изображений. Руководитель научно-исследовательских работ некоммерческой организации Witness Сэм Грегори сказал журналу Wired: «Всегда найдутся способы убрать водяной знак», – отметив, что от некоторых видов визуальной маркировки можно избавиться, если просто изменить размер изображения или обрезать его. Еще одна проблема с водяными знаками заключается в том, что злоумышленники могут имитировать их, размещая на реальном контенте, чтобы он казался поддельным. «Дивиденды лжеца» процветают: Грегори сказал, что в большинстве случаев, которые компания Witness находила в социальных медиа, использовались не дипфейки, а реальные видео, которые объявлялись сгенерированными с помощью ИИ26.

Коалиция по вопросам происхождения и подлинности контента (Coalition for Content Provenance and Authenticity, или C2PA), упомянутая в главе 5, стремится создать «открытый технический стандарт, который позволит издателям, авторам и потребителям отследить происхождение различных типов медиа» (см. https://c2pa.org/). Согласно спецификации C2PA, необходимо записывать информацию о происхождении, такую как дата, географическое местоположение и устройство, с помощью которого была сделана фотография или видеозапись, а также данные о последующем редактировании. Эта информация защищается с помощью цифровой подписи – криптографического метода, который используется для онлайн-договоров и других защищенных транзакций. Широкое использование стандарта C2PA позволило бы пользователям проверять происхождение и историю любого медиа, встреченного в интернете, но его внедрение все еще затруднительно. Применить эту процедуру к синтетическим медиа технически было бы возможно, но при условии, что разработчики генеративного ИИ интегрируют криптографические методы в свои системы. Как и в случае с другими мерами безопасности, многие крупнейшие разработчики ИИ, несомненно, будут включать маркировку в синтетический контент, создаваемый их моделями, и семь компаний, включая OpenAI, Google, Microsoft и Anthropic, уже заявили об этом, – но эти методы не позволят однозначно определить происхождение всего контента.

8.3.6. Проблемы с метрикой «вовлеченность» и альтернативные метрики

В 2018 году исследователи Microsoft опубликовали статью под названием «От Eliza до Xiaolce: проблемы и возможности социальных ботов» (From Eliza to Xiaolce: Challenges and Opportunities with Social Chatbots), в которой авторы отслеживают эволюцию социальных чат-ботов до наших дней. Они пишут:

«Диалоговые системы прошли большой путь с момента своего создания в 1960‐х годах… Для дальнейшего развития и внедрения социальных чат-ботов их дизайн должен ориентироваться на вовлечение пользователей и учитывать как интеллектуальные (IQ), так и эмоциональные (EQ) показатели. Пользователи должны захотеть взаимодействовать с социальным чат-ботом, поэтому в качестве метрики успешности социального чат-бота мы принимаем „количество обменов репликами за сессию“ (conversation-turns per session, CPS)»27.

Не будем забывать, что Джозеф Вейценбаум, автор ELIZA, планировал создать инструмент для терапевтической помощи, но был встревожен, когда осознал степень, до которой люди его очеловечили. Сложно представить, что Вейценбаум не рассматривал количество реплик в диалоге за сеанс как показатель успеха. Однако тот факт, что CPS до сих пор является главной метрикой для социальных чат-ботов, показывает лишь глубокий недостаток воображения.

У социальных чат-ботов, включая Xiaolce, Replika и Character.AI, есть миллионы пользователей, которые ищут общения с ботами для дружбы, романтики или развлечения. Безусловно, эти агенты должны сочетать IQ и EQ, а если у агента будет высоким IQ, но не EQ, то люди смогут задавать ему вопросы, касающиеся фактов, или просить помощи в программировании, но вряд ли сформируют с ним глубокие эмоциональные отношения. Но если бы агент не обладал достаточно высоким IQ, то вообще не смог бы вести интересную беседу. Именно благодаря EQ социальные чат-боты получают выходящие за базовый уровень функциональности способности, которые пользователи ценят больше всего: умение давать ответы, помогающие им чувствовать себя менее одинокими, ведение светской беседы для смягчения социальной тревожности, просто возможность выговориться.

Именно в таких взаимодействиях социальные чат-боты приносят наибольшую пользу, и поэтому их работу следует изучать и улучшать. В главе 7 мы рекомендуем альтернативные метрики, которые поставщики чат-ботов могли бы использовать для оценки успеха, например, они могут измерять пользу сеанса вместо его продолжительности. Этот метод потребует дополнительной работы, но позволяет обойти недостатки метрик, основанных исключительно на вовлеченности. Кроме того, это