Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

охотно выдавать базовые финансовые советы и, возможно даже, сможет персонализировать их под запрос пользователя. Однако, когда дело доходит до более технических аспектов, такие вопросы могут выходить за рамки знаний чат-бота, и тогда он сделает лучшую догадку. Если финансовый консультант вводит в заблуждение или не раскрывает соответствующую информацию об инвестициях, на него можно подать в суд. В случае с чат-ботами, за исключением редких случаев, когда контент, созданный с помощью ИИ, сам по себе является незаконным, никто не несет ответственности за эти ошибки, кроме разве что человека, который на них положился.

Адвокат Стивен Шварц, уличенный в использовании ChatGPT в деле «Мата против Avianca», на момент написания этой книги ожидает слушания по обвинению в предоставлении «ложного и мошеннического нотариального заверения». Несомненно, он повторит свое заявление о том, что, будучи незнакомым с генеративным ИИ, не подозревал о способности ChatGPT что-то выдумывать. Конечно, эти технологии новы и удивительны, и многие люди все еще учатся пользоваться ими. Но Шварц работает практикующим юристом уже более тридцати лет. В ответе на ходатайство о прекращении дела, которое вел Шварц, затрагивалось несколько различных юридических вопросов, включая исковую давность, кодекс о банкротстве и международные договоры. Случаи, которые придумал ChatGPT, касались как раз всех этих вопросов. Шварц, что логично, заподозрил неладное, но, вместо того чтобы проверить информацию по другим источникам, он спросил ChatGPT: «Это реальный случай с Варгезе?» Неудивительно, что ChatGPT ответил положительно [74], 73.

Старший редактор журнала Above the Law Джо Патрис написал в своем блоге об этом происшествии следующее:

«Это ничем не отличается от ситуации, когда в записку по делу включают прецеденты, которые вызывают сомнения или имеют проблемы, или просто копируют первые 10 результатов поиска по базе данных и считают работу сделанной. Проблема заключается не в результате, который произвел ChatGPT, а в том, что адвокат не удосужился ознакомиться с развернутыми заключениями по случаям, на которые ссылался. Поэтому я не верю в оправдания Шварца о том, что он никогда прежде не пользовался этим приложением и „поэтому не подозревал о том, что его ответы могут быть ложными“. Не важно, правильные были результаты или нет, вы все равно должны читать эти чертовы заключения! В прежние времена поиск в Westlaw или Lexis редко выдавал правильные результаты при первом же запросе юриста, и обычно вам надо было проверить и убедиться, что заключение было действительно полезным»73.

По мнению Патриса, генеративный ИИ значительно повысит эффективность и точность расследований адвокатов, не заменяя при этом их самих. «Не вините ИИ за неудачи адвокатов, – заключил он. – Как и во многих других технических вопросах, источник ошибки здесь находится между клавиатурой и стулом»73.

В этой главе мы рассмотрели случаи, когда люди либо намеренно злоупотребляют LLM для создания вредоносного кода и дезинформации, либо делают это случайно, не учитывая ограничения этих моделей. Поскольку инструменты генеративного ИИ становятся все более распространенными, то вполне понятно, что профессионалы в самых разных областях начнут экспериментировать с ними и изучать их возможности. Во многих случаях LLM действительно помогают людям повысить производительность: с помощью модели программисты могут писать код, а маркетологи – делать рекламу. Однако невозможно представить, чтобы программист запустил в работу код без тестирования, а маркетолог опубликовал рекламу без вычитывания, – так не сделали бы даже с вариантом, написанным человеком. Мы можем представить, как врачи с помощью LLM составляют предварительные заключения пациентам, юристы готовят записки, а финансовые консультанты пишут письма инвесторам, но – проверяя их достоверность, используя свой опыт или исследовательские навыки. В какой-то момент станет почти не важно, были ли ошибки сделаны ИИ или человеком. Полностью полагаться на эти инструменты – значит отказываться от ответственности, и именно в жестко регулируемых областях такой отказ влечет за собой серьезные профессиональные последствия.

Но это не значит, что вся вина полностью ложится на плечи пользователей. Компании, разрабатывающие LLM, также несут ответственность за их работу. Во-первых, они должны прозрачно говорить об ограничениях своих моделей и избегать нелепых заявлений в их пользу или гарантий, которые невозможно выполнить. В случаях, когда у модели не хватает знаний для ответа, например как у ChatGPT нет информации о текущих событиях [75], то ответ «У меня нет информации в режиме реального времени» или просто «Я не знаю» будет намного удачнее, чем придуманный. Кроме того, разработчики могут дать указания моделям выражать их собственное чувство уверенности в ответе на естественном языке, что обеспечит пользователю гораздо лучший опыт общения с моделью и устранит видимость уверенности и компетентности там, где их нет.

Наконец, точно так же, как ответственные пользователи должны знать об ограничениях инструментов генеративного ИИ, с которыми они работают, ответственные компании должны знать о том, как их инструменты используются. Как и в случае с мониторингом небезопасного контента, это можно сделать неинвазивным методом, без необходимости идентификации пользователей. Компании, выпускающие LLM, должны отслеживать как намеренное, так и случайное ненадлежащее использование. К мерам противодействия в случае целенаправленного ненадлежащего использования относится блокировка пользователя и повышение устойчивости модели к запросам такого типа. В случае непреднамеренного злоупотребления – а оно наблюдается систематически, в тех случаях, когда люди используют модель для задач, с которыми она не может хорошо справиться, – меры противодействия могут включать более детальное обучение пользователей и калибровку их ожиданий, а также внесение изменений в модель для разъяснения ограничений ее возможностей. Конфуций примерно в 500 году до нашей эры сказал: «Настоящее знание – знать степень своего невежества», и это остается актуальным в Век Информации. От того, смогут ли большие языковые модели реализовать эту мудрость сегодня, будет зависеть их полезность в ближайшие годы.

5.6. Итоги

Злоумышленники могут использовать генеративные модели для проведения кибератак и использования социальной инженерии.

Промпт-джейлбрейк манипулирует поведением чат-бота через промпт, заставляя его действовать в обход правил и ограничений.

Инъекционная атака через промпт – атака, когда вредоносные инструкции маскируются под полезные данные или образцы для ответов, вводимые напрямую пользователем в чат-бот через промпт; непрямая инъекционная атака через промпт предполагает, что вредоносные инструкции внедряются в сторонние ресурсы, которые будут просмотрены и учтены ботом при генерации ответа.

Обучение навыкам безопасности должно перейти от изучения правил и политик к усвоению того, как применять знания в разных ситуациях и выявлять новые разнообразные угрозы от генеративных моделей.

Информационная война и кампании по манипуляции мнениями – это скрытые и вводящие в заблуждение попытки повлиять на мнение целевой аудитории.

LLM с большой вероятностью поменяют облик манипуляционных кампаний в будущем, поскольку дают новые возможности автоматического создания убедительного вредоносного контента