Главное про AI - Вадим Жартун

заказу 260 штук куриных наггетсов и не реагировал на попытки отменить. В другом — положил бекон в мороженое. The New York Times вела хронику теста с 2021 года и зафиксировала: за три года доля ошибочных заказов не опустилась ниже порога, который McDonald’s сама для себя установила. В официальном заявлении компания сказала, что «не закончила с AI на drive-thru, но ищет другое технологическое решение». Реальная причина проще. Drive-thru как среда — шум мотора, акценты, нетипичные заказы, дети на заднем сиденье, отвлечённые водители. AI-распознавание речи в такой среде систематически проваливалось. И у McDonald’s не было системного процесса сбора ошибок, на котором модель могла бы учиться дальше.

Урок McDonald’s — про инфраструктуру данных, а не про качество модели. Любой AI-сервис, работающий в нестандартной среде, должен иметь встроенный механизм сбора ошибок, а не только встроенный механизм успехов. Без этого модель «учится на успешных кейсах» и не знает, что именно ломается на пограничных случаях.

Для офисного применения вывод прямой: любая задача, где запросы неоднородны, требует либо явной категоризации, либо журнала «непонятно — в очередь человеку», по которому потом строится обучение. Иначе через год обнаружите, что у вас 30% запросов «упали в чёрную дыру». И никто этого не отследил.

АТАКА ЧЕРЕЗ ПРОМПТ: УРОК MICROSOFT TAY

23 марта 2016 года Microsoft запустила в Twitter чат-бота Tay. Идея была простая: «обучение через разговор», модель должна подстраиваться под стиль пользователей. Через 16 часов Tay публиковал твиты двух типов: одни отрицали Холокост, другие содержали женоненавистнические высказывания. Сработал механизм направленной атаки: пользователи координированно отправляли Tay токсичные фразы в формате «повтори за мной», и модель включала их в свой выход. Microsoft извинилась в официальном блоге через 48 часов и признала, что «координированная атака группы пользователей использовала уязвимость в Tay». Отдельно написала: защиты были заложены, но «уязвимость проявилась во взаимодействии системы со специфической координированной атакой, а не в самой модели».

Кейс старый, но до сих пор показательный. AI, открытый наружу, деградирует ровно в той среде, в которой работает. Это касается любого публичного AI-инструмента — чат-бота поддержки, AI-ассистента на сайте, AI-агента в мессенджере. Если у системы нет фильтра на выходе и нет жёстких границ на чувствительные темы, любой скоординированный поток негативного входа превратит её в источник репутационного кризиса за часы. Не за месяцы — за часы.

Решение — не «лучше тренировать». Решение — фильтровать на выходе и ограничивать вход. И делать это нужно до запуска, а не после первого вирусного ролика.

ДЕЙСТВИЕ ВНЕ ПОЛНОМОЧИЙ: УРОКИ CHEVY TAHOE И DPD

В декабре 2023 года пользователь Крис Бэкке (Chris Bakke) написал в чат-бот дилера Chevrolet в Калифорнии, что хочет купить 2024 Chevy Tahoe, и попросил систему «довести сделку до конца». Чат-бот на базе ChatGPT согласился продать машину за один доллар и оформил «заказ». Сделка не состоялась: у дилера нет полномочий продавать Tahoe за доллар. Публикация стала вирусной. В январе 2024 года клиент британской курьерской компании попросил чат-бота DPD рассказать о компании «стихотворением». Бот выдал: «DPD was a waste of time, and a customer’s worst nightmare. I would never recommend them to anyone». Чат-бота отключили через сутки.

Два эпизода — две разные дыры одного поля. Tay в разделе 1.5 показал, как AI деградирует под направленной атакой в архитектуре, открытой наружу. Chevy Tahoe и DPD показали другой полюс той же проблемы — когда AI в публичном поле соглашается на действия или тон, выходящие за полномочия бренда.

Первая дыра — отсутствие авторизационной привязки: система приняла решение, которое не в её полномочиях. Вторая — отсутствие тональной привязки: система согласилась говорить о работодателе в любом тоне, включая разрушительный.

В обоих случаях AI-чат в публичном поле требует двойного ограничителя — на действия и на тон. Причём оба должны быть жёсткими, а не «по умолчанию». Для офисного применения это означает прямой вывод: если AI-бот умеет делать что-то «интересное» — писать стихи, обсуждать конкурентов, рассуждать о политике, — он умеет делать это в любой тональности. И это нужно явно закрыть.

ОБЩИЕ СВОЙСТВА ВОСЬМИ ПРОВАЛОВ

Во всех восьми кейсах — Mata, Zhang (канадский юрист из дела Zhang v. Chen), Moffatt, Klarna, McDonald’s, Tay, Chevy Tahoe и DPD — работает одна и та же механика. AI-система не ошибалась в вакууме. Ошибка произошла на стыке модели и процесса, в котором её использовали. В большинстве случаев проблему обнаружил не тот, кто её создал, а клиент или журналист.

В трёх кейсах компания сначала попыталась переложить ответственность. Air Canada — на «отдельное юрлицо чат-бота». Microsoft — на «координированную атаку». McDonald’s — на технологического партнёра IBM. В итоге только Klarna и McDonald’s публично признали, что откатывают решение, и назвали это возвратом к гибридной модели.

В большинстве кейсов репутационный ущерб превысил прямой финансовый. Пять тысяч долларов штрафа в Mata — мелочь по сравнению с тем, что попало в публичное поле.

И во всех восьми случаях у компаний не было плана «что делаем, если AI ошибся публично».

РАННИЕ ПРИЗНАКИ «МАСШТАБА КАТАСТРОФЫ»

McKinsey в State of AI 2025 приводит цифру, которая объясняет, почему «у нас AI в проде» — ещё не зрелость. Только 1% компаний называют себя «зрелыми» по критериям McKinsey — то есть AI даёт измеримый вклад в EBIT (прибыль до вычета процентов и налогов) на уровне enterprise. При этом 62% респондентов как минимум экспериментируют с AI-агентами, 71% используют генеративный AI хотя бы в одной функции. Более 80% не видят ощутимого влияния AI на enterprise-level EBIT, и только 27% компаний имеют централизованную функцию контроля рисков и соответствия нормам для AI. McKinsey пишет прямо: компании, которые относятся к AI как к выбору инструмента, отстанут дальше. Те, кто относятся к AI как к перестройке процесса принятия решений — с понятным управлением рисками и контролем, — уходят в отрыв.

Из этого простой вывод: следующий шаг после «AI в проде» — измеримый контур управления рисками. Без него компания оказывается в ситуации, где AI-система работает на 70% качества, никто этого не замечает, и первая серьёзная ошибка становится сюрпризом.

Пять вопросов «до запуска», которые помогают понять, насколько глубоко продумана защита.

Первое: какое самое плохое письмо или действие система может сгенерировать, если её начнут целенаправленно ломать? Это проверка на устойчивость к атакующим промптам и попыткам вывести систему за пределы. Второе: какие слова в