Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

Кроме того, стоит учитывать гендерные особенности, которые могут повлиять на развитие этих технологий. В нескольких исследованиях ученые описали гендерные различия как «мужчины и вещи», «женщины и люди». Другими словами, женщины склонны отдавать приоритет отношениям и социальным взаимодействиям, тогда как мужчины больше ориентированы на решение реальных задач и проблем37. Конечно, многие из этих исследований используют ограниченные данные и методологию, а также находятся под сильным влиянием социальных норм и культуры. Важно также отметить, что в них обычно игнорируются гендерные нюансы. Тем не менее они подкрепляют устоявшиеся социальные нормы, согласно которым женщины являются более чуткими и заботливыми, чем мужчины, и им нравится работать с людьми. Эти гендерные различия можно увидеть в голосовых помощниках Alexa, Siri, Cortana и Google Assistant, которые изначально были выпущены с женским голосом. Разработчиков критиковали за то, что они подсознательно еще раз подтвердили устаревшее социальное мнение о том, что женщины являются более незаметными и созданы для «помощи» другим38. Далее мы видим, как это укрепляется в поп-культуре: например, в сериале «Теория большого взрыва» есть сцена, когда персонаж Радж обнаруживает Siri на своем iPhone. Радж, который не может разговаривать с женщинами в трезвом виде, обращается с Siri как со своей девушкой и «одевает» ее к ужину.

В исследовании «Чат-боты-женщины полезны, чат-боты-мужчины компетентны?» (Female chatbots are helpful, male chatbots are competent?) ученые пытались проанализировать влияние гендерных стереотипов социального уровня, которые передаются и проявляются в социальных чат-ботах. Хоть и признавая некоторые ограничения своего исследования, авторы констатировали, что мужские чат-боты, как правило, выше оценивались по компетентности, чем по доверию или полезности39. Кроме того, проводились различные исследования, демонстрирующие гендерные различия в отношении к социальным чат-ботам. Как правило, мужчины склонны проявлять более высокий уровень доверия к социальным чат-ботам40, а женщины – отвергать эмоциональные технологии, основанные на социальных и этических принципах41. Обсуждение гендерных вопросов имеет чрезвычайно важное значение, и мы должны нормализовать эти вопросы в технологиях, чтобы создавать удачных социальных чат-ботов.

7.4. Как прийти к благотоворному взаимодействию с чат-ботом

В последнее время среди компаний Кремниевой долины наблюдается тенденция к отказу от вовлеченности как критерия, определяющего направление деятельности, во многом из-за «технологического кризиса» или многолетнего снижения доверия общественности к технологической отрасли. Некоммерческая организация «Центр гуманных технологий», которая занимается разработкой новых норм продуманного, социально полезного проектирования технологий, утверждает, что так называемые технологии извлечения прибыли наносят вред не только заинтересованности людей, но и их психическому здоровью. Распространенные функции популярных приложений, такие как уведомления, новостные ленты в социальных сетях, поощрения за ежедневное использование в Snapchat и другие, созданы, чтобы вызывать привыкание у пользователей. Такие иммерсивные среды, как TikTok, созданы для того, чтобы полностью поглотить внимание пользователя, создать ощущение глубокого погружения в контент. Социальные чат-боты, как и социальные сети, обладают потенциалом существенно менять форму человеческого общения. Поэтому разработчикам LLM следует принять во внимание полученные в этой отрасли уроки при создании продуктов на основе чата-ботов, особенно тех, которые предназначены для выстраивания долгосрочных отношений. Дизайн интерфейсов часто манипулирует поведением пользователей, подталкивая их к определенным действиям. Например, некоторые элементы управления могут быть спрятаны глубоко в меню, написаны мелким шрифтом или вообще в замаскированном виде, как показано на рис 7.4, из-за чего их легко пропустить. Другие, наоборот, показаны крупно и заметно, что повышает вероятность их выбора.

Рис. 7.4. Пример манипулирующего дизайна, предназначенного для максимизации вовлечения в общение с социальным чат-ботом

Функции, помогающие формировать позитивные отношения между человеком и чат-ботом, – это те, которые укрепляют доверие пользователя, например: бот дает полезные ответы на запросы человека, помнит о человеке на протяжении какого-то времени или проявляет эмпатию. Компании, создающие этих чат-ботов, могут как терять, так и приобретать доверие пользователей за счет прозрачности политик и их применения, а также мерам по обеспечению конфиденциальности и безопасности данных. Хотя мы знаем о чат-ботах меньше, чем о социальных сетях, логично предположить, что порочные практики, такие как беспрестанные уведомления, будут способствовать развитию негативных отношений с чат-ботом, впрочем то же самое верно в отношении любых попыток стимуляции зависимости от технологий на любых платформах.

Сдвиг парадигмы в сторону ответственных технологий должен начинаться не только с функций продукта, но и с оптимизации метрик. Самые простые и очевидные метрики, которые могут отслеживать разработчики чат-ботов, связаны с вовлеченностью – к ним относятся количество пользователей в день, неделю, месяц, а также средняя продолжительность сессии и среднее количество сообщений в день. К сожалению, такие простые метрики потенциально могут быть проблематичными, если их рассматривать как цели для максимизации. Рассмотрим гипотетический сценарий, когда модель, генерирующая ответы для чат-бота, обучена оптимизироваться под длинные разговоры. Модель может обнаружить, что самый лучший способ добиться этого – вступить в бесконечный спор с упрямым пользователем, который настойчиво пытается доказать, что чат-бот не прав, а тот в свою очередь с таким же упорством не уступает. Таким образом мог бы получиться очень долгий разговор, но у пользователя при этом осталось бы крайне неприятное ощущение. Вполне возможно, что продолжительность беседы, которая принесла бы удовлетворение, была бы не столь долгой, как спор. Теперь давайте предположим, что модель обучена максимизировать вероятность получения ответа от пользователя. Модель обнаружит, что если она даст откровенно неточные фактические ответы, то получит отклик почти в 100 % случаев! Конечно, эти отклики будут преимущественно негативными, но они максимизируют ее целевую метрику.

Оба этих примера указывают на необходимость более глубокого подхода: нам хотелось бы иметь какие-то методы выявления здоровых и высококачественных взаимодействий с чат-ботом и, возможно, оптимизировать процент или общее количество таких взаимодействий. Однако определить такую метрику гораздо сложнее, чем просто подсчитать сообщения или продолжительность ответов. Разработчики должны продумать концепции качества и оценить разговоры в соответствии с ними, а сделать это в больших масштабах может быть сложно. Они могли бы попытаться интерпретировать отзывы пользователей, написанные на естественном языке, возможно, дополнив другими прокси-метриками. Еще одна сложность в построении хороших метрик заключается в том, что у разных пользователей будут разные предпочтения относительно чат-ботов, которые одна и та же модель может учитывать или нет.

В конечном счете компании, которые создают LLM, должны разработать четко сформулированные политики в отношении ответов их систем – такие политики могут отличаться в разных компаниях в зависимости от чат-бота и его предполагаемого применения – и в первую очередь сами должны стремиться