Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

– чаще всего в отношении гендера. Чтобы это сделать, вы можете изменить векторное представление гендерно-нейтральных слов, удалив гендерные ассоциации с ними. Например, если у нас есть слово «медсестра», которое, скорее всего, ассоциируется с женщиной, вы можете передвинуть его в позицию ровно между словами «мужчина» и «женщина»11. Однако в 2022 году группа исследователей проанализировала пять методов устранения предвзятости в языковых моделях в отношении пола, религии и расы, в ходе которых они определили, что существующие методы не только неэффективны для удаления несвязанных с полом предубеждений, но и приводят к снижению способности моделировать язык12. Несмотря на благородство усилий, алгоритмическое устранение предвзятости в языковых моделях является чрезвычайно сложной задачей, поскольку оно также удаляет смысл и информацию, из-за чего модель получает неполную картину мира, или, выражаясь более убедительно, устранение предвзятости – это «справедливость через слепоту»6.

Как утверждают Бендер, Гебру и другие, надежное решение – это тщательная подборка и документирование обучающих наборов данных для языковых моделей. На текущий момент большинство LLM обучаются на основе авторских датасетов, источники которых не раскрываются конечным пользователям. Для понимания свойств данных решающее значение имеет прозрачное документирование, поскольку оно позволяет смягчить некоторые риски и обеспечивает потенциальную управляемость. Мы можем создавать репрезентативные наборы данных без предвзятости, если будем закладывать бюджет на документацию и собирать только тот объем данных, который может быть задокументирован. Компания Hugging Face, специализирующаяся на создании инструментов машинного обучения с открытым исходным кодом, разработала карточки датасетов, которые являются хорошей отправной точкой для их документирования. В них есть подробная информация о содержимом набора данных, любой потенциальной предвзятости и о том, как этот набор данных следует использовать13. Они также выпустили ROOTS – многоязычный текстовый корпус объемом 1,6 TБ, который использовался для обучения LLM BLOOM, а также инструмент поиска для корпуса ROOTS14. Этот инструмент позволяет выполнять поиск по набору данных и делать более качественный анализ обучающих данных, что мотивирует исследователей более охотно описывать большие наборы данных. Создатели проекта Data Nutrition, учрежденного в рамках стипендиальной программы Ассамблеи Гарвардского центра Беркмана Кляйна, вдохновились идеей этикеток на продуктах питания и выделили ключевые «ингредиенты» в наборе данных, такие как метаданные и демографическое представление (см. https://datanutrition.org/).

Наконец, в отличие от искусственного интеллекта, у людей есть контекстная память и социальные примеры, которые они используют для преодоления расовых и гендерных предубеждений. Нас может вдохновлять мысль о том, что люди способны бороться со своими скрытыми предубеждениями и что они не всегда будут существовать в нашем обществе.

2.3.2. Конфиденциальная информация

Поскольку большие языковые модели обучаются на огромных массивах данных из широкого спектра источников в интернете, они иногда могут содержать информацию, позволяющую установить личность, такую как имена, адреса, номера социального страхования, биометрические данные, сексуальная ориентация и так далее, даже если они обучаются на общедоступных данных. Один из потенциальных рисков заключается в том, что модель может непреднамеренно «запомнить» детали из обучающих данных, и тогда в ее выходные данные может попасть конфиденциальная информация. Естественно, возникают дополнительные проблемы, если модель, обученная на закрытых наборах данных, становится общедоступной.

Основная уязвимость LLM заключается в том, что злоумышленник может провести атаку по извлечению обучающих данных. Возможность, что злоумышленники запросят у модели конфиденциальную и идентифицирующую личность информацию, представляет угрозу для больших языковых моделей. Как и в большинстве исследований в области безопасности и конфиденциальности, важно учитывать риски и этику, связанные с проведением атак в исследовательских целях, поэтому общедоступные и опубликованные работы в этой области часто ограничены.

Google в сотрудничестве с OpenAI, Apple, Стэнфордом, Северо-Восточным университетом и Беркли продемонстрировали свою «атаку» на GPT‐2 и показали, что можно извлекать конфиденциальные фрагменты обучающих данных, которые модель непреднамеренно «запомнила». Получается, что злоумышленники могут запросить языковую модель извлечь дословную информацию из обучающих данных. Исследователи отмечают, что, когда модель, обученная на закрытом наборе данных, становится общедоступной, атаки с извлечением обучающих данных имеют наибольший риск причинения вреда. Также они признают, что проведение атаки с исследовательской целью на такие наборы данных могут иметь негативные последствия, и они выбрали модель GPT‐2, поскольку процесс сбора обучающих данных для нее задокументирован и в нем использовались только общедоступные источники в интернете. Им удалось извлечь сотни дословных фрагментов информации, включая персональные данные (имена, номера телефонов, электронные адреса), мгновенные сообщения, коды и универсальные уникальные идентификаторы (UUID). К сожалению, исследователи обнаружили, что большинство из этих примеров запоминаются даже несмотря на то, что появляются очень редко, всего в одном документе в наборе обучающих данных; а также то, что крупные модели более уязвимы для этих атак по сравнению с моделями меньшего размера15. Другое исследование, The Secret Sharer («Тайный сообщник»), показывает, что непреднамеренное запоминание является устойчивой проблемой LLM, которую трудно избежать16. Они демонстрируют атаку на датасет электронной почты Enron (см. http://mng.bz/K9AZ), которая содержит полмиллиона электронных писем из почты сотрудников корпорации Enron. Датасет был обнародован и размещен в интернете Федеральной комиссией по регулированию энергетики в ходе расследования. Исследователи использовали этот датасет для обучения языковой модели и показали, что можно без особых усилий извлекать из обученной модели номера кредитных карт и социального страхования.

Самый простой способ устранить эту проблему – убедиться, что модели не обучаются на каких-либо конфиденциальных или личных данных. Однако на практике это чрезвычайно сложно сделать, что возвращает нас к предыдущему пункту: тщательной подборке и документированию наборов данных для языковых моделей. Другие решения предлагают воспользоваться методами сохранения или повышения конфиденциальности (privacy-enhancing technologies, PET) – это обобщающий термин, обозначающий подходы, которые могут снизить риски раскрытия конфиденциальности данных и нарушения безопасности17. К примерам технологий повышения конфиденциальности относятся методы псевдонимизации, обфускации, санитизации и маскировки [35] данных. Чтобы применить этот подход на практике, можно создать черный список для возможных конфиденциальных последовательностей и отфильтровать потенциально конфиденциальную информацию из обучающего набора данных, но, как показано в «Тайном сообщнике», создание черных списков никогда не обеспечивает полную безопасность и не уменьшает существенно эффект непреднамеренного запоминания. Дифференциальная приватность – популярный метод анонимизации, появившийся в начале 2000‐х годов. Он позволяет проводить обучение на наборе данных, не компрометируя детальную информацию отдельных записей в выборке. Идея состоит в том, чтобы добавить статистическую случайность в данные, которая поможет скрыть индивидуальные детали отдельных записей. Но у этого метода есть свои ограничения, поскольку он не может предотвратить запоминание контента, который редко повторяется в наборе данных. В книге Beyond Data: Reclaiming Human Rights at the Dawn of the Metaverse («За пределами данных: Восстановление прав человека на заре Метавселенной») автор показывает, что методы повышения конфиденциальности не только высокотехничны, сложны в