Главное про AI - Вадим Жартун

Современные AI-ассистенты с Code Interpreter решают эту задачу иначе. Модель не считает сама — она пишет скрипт, а Python в изолированной среде (sandbox) его исполняет. Из такой среды модель не имеет выхода в вашу файловую систему, интернет или чужие процессы. Результат вычисления возвращается модели как контекст, и она формулирует ответ на естественном языке. Сейчас в эту архитектуру умеют: OpenAI Advanced Data Analyses (бывший Code Interpreter), Anthropic Claude с калькулятором, Google Gemini Code Execution, Qwen Code Interpreter, Microsoft Copilot + Python в Excel.

На вопрос «сколько будет 2341 × 5678» без инструмента модель с вероятностью 70–80% ошибётся. С инструментом — выдаст точный результат.

Смешение типов в одном запросе — почти гарантированный путь к плохому результату. Когда вы пишете «прочти этот PDF, выдели риски, сравни с прошлогодним, перепиши как письмо директору и порекомендуй решение», вы заставляете модель одновременно извлекать факты, классифицировать риски, сравнивать, генерировать и формулировать рекомендацию. Модель делает один из пяти шагов прилично, остальные — кое-как, и вы получаете текст, в котором половина фактов выдумана, а половина — точная, но не к месту. Если задача сложная и многошаговая, разбейте её на последовательность простых запросов: сначала выжимка, потом — сравнение, потом — черновик письма. Пять минут на разбивку экономят час на правку.

Если вы ловите модель на выдумке и думаете «может, попробовать более новую версию», остановитесь. Версия тут ни при чём — дело в архитектуре.

RAG: ИНСТРУМЕНТ ПОДСТРАХОВКИ, А НЕ ЛЕКАРСТВО ОТ ГАЛЛЮЦИНАЦИЙ

Извлечение фактов и поиск — два самых опасных класса задач: в них модель работает без ваших документов и «додумывает» ответ. По данным Stanford HAI (2024), в этих классах модель выдумывает на 17–33% чаще, чем хотелось бы. Есть ли способ заставить её отвечать по вашим документам, а не по памяти? Есть, и он называется RAG.

В 2024 году индустрия воодушевилась идеей: если дать модели читать ваши документы, а не свои внутренние веса, она перестанет выдумывать. Технология называется RAG — Retrieval-Augmented Generation, или «поиск с подсказкой». На каждый запрос модель сначала ищет релевантные фрагменты в вашей базе знаний, а уже потом формулирует ответ на их основе. Идея элегантная, и для части задач она работает. Для другой части — нет, и важно понимать где.

RAG радикально снижает галлюцинации, когда вопрос имеет точный ответ в ваших документах. «Какой срок оплаты по договору с ООО „Ромашка”?», «Что говорит наш регламент о командировках?», «Какая версия политики безопасности действует с 1 января?» Без RAG модель отвечает из своей статистики и врёт уверенно. С RAG — опирается на конкретный фрагмент, и шанс выдумки резко падает.

Но RAG не серебряная пуля. В сентябре 2024 года команда Стэнфордского института человекоцентричного AI (HAI) и RegLab опубликовала исследование, которое отрезвило индустрию. Авторы — шесть исследователей во главе с Сугуном Магешем (Sugun Magesh) и известным NLP-учёным Кристофером Мэннингом (Christopher Manning) из Стэнфорда — взяли три коммерческих юридических AI-инструмента: Lexis+ AI, Westlaw AI-Assisted Research (построенный на GPT-4 после покупки Casetext за 650 миллионов долларов) и Ask Practical Law AI.

Цифры по галлюцинациям: Lexis+ AI — 17%, Westlaw — 33%, Ask Practical Law AI — 17%, базовый GPT-4 без RAG — 43%. RAG снизил долю ошибок примерно вдвое, но не устранил: в каждом шестом ответе коммерческие инструменты с доступом к проверенной юридической базе выдавали ложную информацию. Westlaw, построенный специально для юристов с фокусом на точность, галлюцинировал в каждом третьем ответе.

Практический вывод: в задачах с высокой ценой ошибки RAG — фильтр первого уровня, а не финальный контроль качества.

Миф «RAG решает проблему галлюцинаций» не выдерживает проверки: модель всё равно может переврать прочитанное или сделать вывод, которого в источнике не было. Грег Ламберт (Greg Lambert), главный специалист по знаниям в Jackson Walker, в комментарии изданию Artificial Lawyer по итогам Stanford-исследования сформулировал ключевую проблему — «creativity problem», «проблему творческого додумывания». Модель не просто ищет в базе, она «креативит» на основе найденного. Берёт реальные документы, соединяет их в несуществующую конструкцию и формулирует уверенный ответ со ссылками на «реальные» источники. Юрист видит красивый ответ со ссылками и не перепроверяет каждую строку.

В феврале 2024 года канадский Civil Resolution Tribunal (Британская Колумбия) признал авиакомпанию Air Canada виновной в неосмотрительном введении в заблуждение из-за того, что её чат-бот пообещал клиенту несуществующую скидку. Клиент Джейк Моффатт (Jake Moffatt), потерявший бабушку, спросил у чат-бота, можно ли оформить обратный билет со скидкой после похорон. Чат-бот ответил утвердительно и привёл подробный тариф. Air Canada использовала RAG-подобный поиск по собственной базе тарифов, но поиск вернул не тот документ, и модель сгенерировала уверенный ответ про несуществующую политику. На суде компания пыталась доказать, что чат-бот — «отдельная сущность, за которую она не отвечает». Трибунал отверг этот аргумент и обязал Air Canada выплатить Moffatt компенсацию в размере 812,02 канадского доллара (CAD). Кейс стал прецедентом: компания отвечает за то, что говорит её AI, даже если AI ошибся.

Вывод: RAG нужен в любом офисном проекте с собственными документами — без него модель выдумывает ответы «как будто из вашего регламента» из общей статистики. Но одного RAG недостаточно: нужно RAG с цитированием, чтобы каждое утверждение модели можно было проверить по конкретному фрагменту базы. И держать в голове: даже хороший RAG уменьшает галлюцинации, а не устраняет.

ТРИ СПОСОБА АДАПТИРОВАТЬ МОДЕЛЬ ПОД СЕБЯ

RAG снижает галлюцинации, но не устраняет их — мы это установили. Тогда возникает следующий вопрос: есть ли способ переделать модель под себя, чтобы она отвечала «в нашем тоне», «с нашей терминологией», «по нашим правилам»? На бытовом уровне это звучит как просьба «натренировать наш ChatGPT на наших документах». В техническом смысле под этой фразой скрываются три разные операции с разной ценой и применимостью, и путаница между ними стоит компаниям десятков тысяч долларов и месяцев работы впустую.

Промпт-инжиниринг с few-shot примерами (few-shot — обучение на нескольких примерах в самом промпте). Вы не трогаете модель вообще, а пишете ей в системной инструкции, как себя вести, и прикладываете 2–5 примеров «вопрос-ответ» в самом промпте. Это самая дешёвая операция: ноль рублей на технику сверх обычной стоимости API, плюс несколько часов работы сотрудника, который учится формулировать задачи. Подходит, когда задача помещается в шаблон, не требует своей базы знаний