Главное про AI - Вадим Жартун

в суд письменную позицию с шестью ссылками на прецеденты — и ни одного из этих дел в природе не было. Их сгенерировал ChatGPT. Судья Кевин Кастель (Kevin Castel) наложил санкции по Rule 11: пять тысяч долларов каждому из двух адвокатов, фирму обязал отвечать солидарно. И отдельно записал в решении: «„галлюцинации и фабрикации чат-бота” не освобождают от профессиональной обязанности проверять». С июня 2023 года в крупных юрфирмах США действует обязательная политика «human verification of AI-generated citations» — обязательная проверка человеком каждой цитаты, сгенерированной AI. На каждой ссылке теперь стоит подпись референта или библиотекаря.

Один заголовок — «адвокат нанял AI и выдумал прецеденты» — запомнился надолго. В нём видна механика, общая для всех AI-провалов в публичном поле. Та же логика срабатывает везде, где AI пишет клиенту про деньги, тарифы или условия возврата. Это любая коммерческая переписка, не только юридические документы.

Вывод один: проверяй перед отправкой. Отвечать придётся тебе.

ТИПОЛОГИЯ AI-ПРОВАЛОВ

ГАЛЛЮЦИНАЦИЯ ФАКТА: УРОК MATA V. AVIANCA

В кейсе Mata речь шла о юридической ссылке. В российской практике тот же провал проявляется в любой области, где AI-чат или AI-ассистент отвечает клиенту на вопрос, требующий актуальных данных. Исследование Сколково в 2024 году показало, что 6 из 10 россиян считают банковские чат-боты «раздражающими». В тройку причин вошли именно ложные ответы и «уверенный тон при незнании». В феврале 2025 года BBC опубликовало исследование, в котором четыре крупных новостных чат-бота с AI при пересказе свежих новостей регулярно искажали факты, даты и имена.

Логика в обоих случаях одна и та же. Модель сгенерировала правдоподобный, но ложный ответ. Человек принял его за чистую монету. Дальше — либо потеря денег, либо репутационный ущерб.

Механизм один и тот же. LLM обучена на массиве текстов. Её «правдоподобие» — это статистическая похожесть на формулировки в обучающих данных, а не проверка факта в актуальных источниках. Первое, что нужно знать про AI-выход: любое именованное утверждение — даты, цифры, имена, номера дел, ссылки на законы — может оказаться галлюцинацией. Сорок пять процентов AI-юристов в исследовании 2024 года Westlaw и LexisNexis сослались на дела, которых не существует. Это свойство архитектуры, а не сбой конкретного чат-бота.

Правило простое: каждое именованное утверждение, которое уходит от вашего имени, человек проверяет в первоисточнике за пять минут. Не «если есть сомнения», а каждое.

Санкции за такие подлоги различаются, и это полезно знать. В Mata — пять тысяч долларов штрафа по Rule 11 и солидарная ответственность фирмы. В Zhang v. Chen (2024 BCSC 285, судья Дэвид Масухара (David Masuhara)) канадская юристка цитировала два фальшивых дела. Судья ограничился оплатой расходов оппонента, без специального возмещения судебных издержек и без репутационного удара. Реакция судебной системы — не одна фиксированная санкция, а спектр. В этом спектре исход определяет поведение юриста, а не поведение модели.

ЛОЖНОЕ ОБЕЩАНИЕ ОТ ИМЕНИ БРЕНДА: УРОК MOFFATT V. AIR CANADA

14 февраля 2024 года British Columbia Civil Resolution Tribunal опубликовал решение по делу Moffatt v. Air Canada. Джейк Моффатт (Jake Moffatt) потерял бабушку и спросил чат-бота авиакомпании, можно ли получить скидку по тарифу bereavement fare. Чат-бот ответил: сначала купите билет по обычной цене, а в течение 90 дней подайте заявку на возврат разницы. Никакого 90-дневного окна в правилах Air Canada не было. Moffatt купил билет. Разницу не вернули.

В суде Air Canada защищалась так: чат-бот — это «отдельное юридическое лицо, не связанное с авиакомпанией». Трибунал аргумент отверг. Чат-бот — часть сайта Air Canada, и компания отвечает за информацию, которую через него распространяет. Moffatt получил компенсацию и прецедент, который работает за пределами Канады. Смысл простой: чат-бот — это «представитель» бренда в глазах потребителя. Его обещание имеет ту же силу, что и обещание сотрудника на стойке регистрации.

В российской и европейской практике прецедента такого масштаба пока нет, но юридическая логика та же. Если ваш AI-чат или AI-агент говорит клиенту о цене, тарифе, скидке или условиях возврата — это публичное утверждение вашего бренда. Ложное обещание — ошибка компании, которая выложила AI в публичное поле.

«AI же сказал» — не защита. «Мы тестировали» — защита, только если вы докажете, что тестировали именно этот сценарий и он у вас закрыт. Не закрыт — компания платит.

ДЕГРАДАЦИЯ НА ДЛИННОЙ ДИСТАНЦИИ: УРОК KLARNA

В феврале 2024 года CEO Klarna Себастьян Симиатковски (Sebastian Siemiatkowski) объявил, что AI-ассистент компании на базе OpenAI закрывает работу, эквивалентную 700 штатным агентам поддержки. В первый месяц после запуска AI обработал 2,3 миллиона разговоров — около двух третей всего объёма. Siemiatkowski назвал результат «нокаутом для конкурентов». К середине 2024 года картина поплыла: время разрешения вопроса выросло, средний балл удовлетворённости клиентов упал, шведские и британские ассоциации по защите прав потребителей получали жалобы — AI не различал сценарии, где нужен живой человек. В мае 2025 года Klarna публично откатилась: вернула набор людей через outsourcing-партнёров и признала, что опора на AI в поддержке снизила качество сервиса. CEO прямо сказал главное: AI хорошо справлялся с типовыми вопросами, но на сложных кейсах — возвраты, спорные списания, клиенты в сложных ситуациях — без человека получался репутационный риск. Урок Klarna — не про то, что AI плох. Он про то, что у компании не было второй линии обороны. Модель деградировала молча, в течение двенадцати–восемнадцати месяцев, и заметили это не по дашбордам, а по жалобам.

В Klarna, как и в McDonald’s, проблема была не в самом AI, а в отсутствии отслеживания качества при росте скорости. В Klarna смотрели на объём обработанных диалогов. В McDonald’s — на долю заказов без оператора-человека. В обоих случаях оптимизировали метрику, которая растёт и при падающем качестве. А ухудшение качества проявлялось в канале, который не был подключён к дашборду.

Клиенты жаловались. Метрики говорили «всё хорошо». Реакция на жалобы приходила через полгода-год, когда отток уже стал структурным.

Этот тип провала — медленный, статистически необнаружимый, вскрывающийся жалобами — самый опасный. У него нет точки «вот сейчас всё сломалось». Ломается постепенно, и сигнал приходит из-за пределов системы, а не из неё.

СБОЙ В НЕСТАНДАРТНОЙ СРЕДЕ: УРОК MCDONALD’S И IBM

В июне 2024 года McDonald’s объявила о прекращении двухлетнего теста AI-кассы на «официантском окне» (англ. drive-thru — окно выдачи заказа для автомобилистов без выхода из машины). Тест компания вела с IBM. Поводом стали вирусные ролики в TikTok. В одном из них AI добавил к обычному