Главное про AI - Вадим Жартун

В Северной Америке прецедент Moffatt v. Air Canada (февраль 2024) — Трибунал гражданского разрешения споров провинции Британская Колумбия (Канада) — признал авиакомпанию ответственной за то, что её чат-бот дал клиенту неверную информацию о тарифах и условиях компенсации после смерти родственника. Трибунал обязал Air Canada выплатить компенсацию и покрыть расходы, зафиксировав: компания отвечает за информацию, переданную от её имени, независимо от канала. Air Canada пыталась аргументировать, что «бот — это отдельная сущность», и проиграла.

В России прямого прецедента с AI-ботом пока нет, но ст. 309 Гражданского кодекса РФ (обязательства должны исполняться надлежащим образом в соответствии с условиями обязательства) и ст. 14.7 Кодекса РФ об административных правонарушениях (ответственность за обман потребителей, в том числе за недостоверную информацию о товаре или услуге) применяются к тому, что компания сообщает клиенту, независимо от того, кто именно это сообщил.

Для офисной команды это переводится жёстко: если ваш AI говорит от имени компании, это говорит компания. За каждое слово отвечает компания.

ДЕЙСТВИЯ ПРИ ЛЖИ AI ОТ ИМЕНИ КОМПАНИИ

Девять правил, которые держат компанию в правовом поле, если AI-бот уже работает с клиентами. Если правил нет — каждый следующий ответ бота это потенциальный иск.

1: Зафиксировать в политике: «всё, что AI говорит клиенту, — позиция компании».

2: В UI чат-бота показывать, что это AI, и давать ссылку «связаться с оператором».

3: Ограничить домены, в которых AI даёт факты: только то, что есть в verified-базе (проверенной базе правильных ответов, за которую отвечает конкретный человек).

4: Для каждого важного ответа показывать источник: «по нашему регламенту №…», «по закону №…».

5: Логировать все ответы AI клиентам: timestamp, user_id, prompt_hash (уникальный отпечаток запроса, по которому ответ можно найти в логах), response.

6: Регулярно выборочно проверять качество ответов: golden set (эталонный набор ответов, с которым сверяется AI каждую неделю) плюс ручная модерация выборки.

7: Иметь процедуру «отмены»: если AI ошибся клиенту, как быстро компания это признает и компенсирует.

8: Не использовать AI для коммуникаций, где цена ошибки высока: претензии, возвраты, юридические уведомления. Для высокорисковых применений — кредит, страховка, медицина — человек в петле обязателен.

9: Страховка профессиональной ответственности (E&O, Errors & Omissions insurance — страхование от убытков, наступивших из-за ошибок или упущений в профессиональной деятельности): пункт в реестре рисков, если AI работает с клиентами.

Эти девять правил не закрывают юридический риск полностью. Для высокорисковых применений — кредит, медицина, страхование — правило 8 ужесточается до human-in-the-loop по каждому решению.

ПЕРВЫЙ ШАГ: С ЧЕГО НАЧАТЬ В ПОНЕДЕЛЬНИК

Глава большая, и у вас есть законное право спросить: «Хорошо, а что мне делать в понедельник утром?» Минимальный набор действий, который закрывает бо́льшую часть типовых рисков и помещается в одну рабочую неделю:

1: Найти владельца AI-системы. Если владельца нет — назначить. Без подписанного владельца всё остальное в этой главе не работает.

2: Посмотреть, что AI-бот уже читает: почта, RAG-база, CRM. Отключить источники, которые вы не контролируете.

3: Завести policy-файл «что AI-бот может делать без подтверждения человека»: ноль разрешений по умолчанию, любое обратимое действие — через человека.

4: Включить логирование всех вызовов LLM и сохранять prompt_hash и ответ. Без логов через две недели после инцидента вы не вспомните контекст.

5: Прогнать Garak или Promptfoo по модели один раз. Час работы, отчёт о слепых зонах, бесплатный бонус к карме безопасника.

6: Поднять DLP на корпоративном шлюзе с правилом «предупреждение при отправке ФИО в облачный AI». Не блокировать — предупреждать. На первом этапе задача — увидеть поток, а не задушить его.

7: Назначить ответственного за AI в реестре рисков: один человек, который знает обо всех AI-инициативах компании и указан в таблице владельцев рисков.

8: Записать формулу «всё, что AI говорит от имени компании, — позиция компании» и повесить над рабочим столом. Это не шутка: это организационное правило номер один для любого проекта, в котором AI общается с клиентом.

После этих восьми шагов глава перестаёт быть страшилкой и превращается в чек-лист. Если из восьми пунктов вы закрыли 5 и больше — у вас MVP-защита. Менее 3 — это состояние «AI-бот работает в офисе без защиты», и любой пользователь с базовыми знаниями prompt injection может его обойти. Дальше — наращивать уровни изоляции по таблице в этой главе и двигаться в сторону сертификации, если AI становится продуктовым, а не вспомогательным.

РЕЗЮМЕ

Prompt injection не решается настройкой модели или длиной системного промпта. Она решается архитектурой приложения: фильтрация входа, валидация выхода кодом, разделение контекстов, принцип наименьших привилегий, человек в контуре для обратимых действий. Прокси-слой с белыми списками и человеком в петле закрывает бо́льшую часть типовых сценариев, но это не «серебряная пуля», а сокращение поверхности атаки.

Ответственный AI — это владелец системы, реестр рисков и оценка воздействия перед запуском, а не принципы на стене. NIST AI RMF, EU AI Act и ISO 42001 задают операционную рамку.

Закон требует локализации персональных данных граждан РФ. Штрафы за утечку специальных категорий привязаны к обороту компании, плюс уголовная ответственность. «Отправить в ChatGPT письмо клиента» — потенциально уголовное дело, а не мелочь.

Паттерны атак из MITRE ATLAS и реальные кейсы показывают: «маленький проект» не защита. Автоматические сканеры не смотрят на размер, а регулятор смотрит на ущерб субъекту.

Отказ модели — это и safety-механизм, и операционная проблема одновременно. AI говорит от имени компании, и за каждое его слово отвечает компания.

Когда речь идёт об AI-агенте, который отвечает клиенту, формула одна: всё, что AI говорит от имени компании, — позиция компании. Если владелец системы в реестре рисков не назначен — отвечает тот, кто подписал запуск.

В этой главе мы разобрали технику безопасности и российскую регуляторную рамку — но осталось поле, где техника и регулирование пересекаются с гражданско-правовой ответственностью, авторским правом и корпоративной дисциплиной. Следующая глава — про то, что разрешено, что под вопросом и что прямо запрещено, когда AI создаёт тексты, изображения и решения от имени компании: 152-ФЗ, GDPR, EU AI Act, законы об авторском праве на AI-генерацию и распределение ответственности внутри компании. Это для тех, кто хочет понимать не только «как защитить», но и «кто отвечает, если защита не сработала» — то есть про правовую рамку, в которой защита существует.

Глава 17. Правовое регулирование