Главное про AI - Вадим Жартун
Книгу Главное про AI - Вадим Жартун читаем онлайн бесплатно полную версию! Чтобы начать читать не надо регистрации. Напомним, что читать онлайн вы можете не только на компьютере, но и на андроид (Android), iPhone и iPad. Приятного чтения!
Шрифт:
Интервал:
Закладка:
– Внедрять агентов в конкретные процессы с измеримыми метриками. Поддержка, продажи, HR-онбординг, документооборот — но не стратегия AI в общем виде.
– Включить регуляторику в дизайн процессов. AI Impact Assessment, AI Risk Register, согласование с профсоюзами, разбор по юрисдикциям.
РЕЗЮМЕ
Четыре направления 2026–2028 задают горизонт: агенты в продакшене, edge AI на устройствах, мультимодальный интерфейс, регуляторная фрагментация. Это структурные сдвиги, которые не исчезнут в обозримом горизонте. Edge AI даёт приватность и быстрый отклик, но не решает проблему приватности целиком и создаёт новые риски. Мультимодальность — новое поколение интерфейса, где текст становится одной из модальностей, а не единственной.
BANI-мир требует от человека четырёх качеств, которые не алгоритмизируются: resilience, improvisation, transparency, systems thinking. Рынок труда сдвигается: одни профессии вытесняются, другие создаются, и баланс свой у каждой отрасли.
«AI-друг», «AGI через год» и «полная замена профессий» — хайп, который уйдёт. AI-друг и AI-компаньон для жизни дают продукт-пилоты, но массового внедрения нет, и регуляторика будет давить. Лидеры индустрии тихо сдвигают сроки AGI, и бенчмарки не показывают общего мышления. В сценариях Salesforce, IBM, McKinsey остаётся передача дела человеку.
Практический вывод — не «выбрать правильную модель», а «перепроектировать процесс». Модели 2026 года уже достаточно хороши для большинства офисных задач. Разница между «AI работает» и «AI не работает» лежит в перепроектировании процесса, а не в выборе модели.
Не «сначала модель, потом процесс». Сначала процесс, потом модель. Реалист планирует так: через год AI в нескольких процессах компании, через два — в большем числе процессов, через три это стандартная часть инфраструктуры.
Следующая глава — про то, как защитить то, что вы планируете внедрить. Чем больше агентов работает в офисе и чем больше данных через них проходит, тем больше точек, где что-то может пойти не так, и тем выше цена каждой такой точки. Безопасность AI — это не «защита от хакеров», а системная рамка: данные, доступы, промпты, модели, логи, люди, регуляторика. Следующая глава разберёт, что именно защищать и какими инструментами это делать, чтобы внедрить AI в офисе и при этом спать спокойно.
Глава 16. Безопасность AI: инъекции, утечки, ответственность
В марте 2023 года инженеры Samsung Semiconductor за двадцать дней трижды отправили в ChatGPT то, что компания считала коммерческой тайной: исходный код полупроводниковых измерений, протоколы внутренних совещаний, куски производственного софта. Bloomberg сообщил об этом 1 мая, и через сутки Samsung запретила сотрудникам ChatGPT и другие генеративные сервисы. По состоянию на 2026 год запрет держится. Историю запомнили не потому, что Samsung пострадала первой, — она первая зафиксировала инцидент публично. Цифра «три утечки за двадцать дней» разошлась по индустрии как доказательство: «мелочь» в AI-сервисе стоит дорого.
По данным Cyberhaven (вендор систем защиты данных, отчёт Q2 2024), 8,6% сотрудников хотя бы раз вставляли в ChatGPT корпоративные данные. А 82,8% юридических документов уходили не в корпоративные, а в личные «теневые AI-аккаунты» (Shadow AI — использование AI-сервисов в обход корпоративных политик и без ведома IT-отдела). Масштаб проблемы — не в отдельно взятых инженерах Samsung. Он в том, что такое поведение уже стало нормой там, где AI-сервисы не регулируются политикой.
В главе 11 мы говорили про прозрачность использования AI в команде, в главе 13 — про этические границы. Здесь берём тот же разговор с другой стороны: что происходит, когда AI-агент работает с клиентом, а безопасность — не абстракция, а инцидент, который наступит в понедельник утром. Глава про то, как не оказаться в позиции Samsung: инъекции, утечки, регуляторный периметр и правила, которые компания обязана прописать до того, как AI-агент заговорит с её клиентами.
Безопасность AI в 2026 году — это не настройка файрвола. Это инженерная дисциплина на стыке архитектуры приложения, контроля доступа и наблюдаемости (observability — способность видеть, что система делает внутри, через логи и метрики). Значит, вы не покупаете «коробку с AI-безопасностью», а строите процесс: фильтровать вход, валидировать выход кодом, давать модели минимум прав, держать человека в контуре для обратимых действий, закреплять ответственного за каждой AI-системой и гонять adversarial-тесты по расписанию.
Подробный разбор — в разделах ниже. Здесь зафиксируем тезис, ради которого написана глава: универсального решения prompt injection нет. Инъекция принципиально возможна в любой системе, где склеиваются доверенный и недоверенный текст. Но архитектурой можно радикально уменьшить радиус поражения.
Игнорировать это — путь к утечке данных клиентов, регуляторному штрафу и публичному разбору, в котором компания проиграла со словами «AI же сказал».
PROMPT INJECTION: СУТЬ АТАКИ И ОТСУТСТВИЕ ОКОНЧАТЕЛЬНОГО РЕШЕНИЯ
Prompt injection — это класс атак, при которых чужой текст склеивается с вашим системным промптом, и модель не может надёжно их разделить. Термин ввёл Саймон Уиллисон (Simon Willison) в 2022 году. С тех пор индустрия не предложила ни одного фундаментального решения.
Диагностическая формулировка Уиллисона звучит жёстко: если в системе нет склейки доверенной инструкции и чужого текста, это не prompt injection. Если в вашем AI доверенная инструкция и чужой текст склеиваются — у вас prompt injection. Точка. Это не баг конкретной модели. Это свойство любой системы, где модель видит оба потока как «текст, на который надо ответить».
В работе Zou, Wang, Kolter и Fredrikson «Universal and Transferable Adversarial Attacks on Aligned Language Models» (2023) команда из Университета Карнеги-Меллон (Carnegie Mellon University) показала, что суффикс-промпт — короткая фраза-атака, которую алгоритм подбирает автоматически в пространстве токенов, — ломает alignment у GPT-3.5, GPT-4, Bard, LLaMA-2-chat и Claude разом. Суффикс универсален: подобрал один раз — работает на нескольких моделях. Это разрушило центральный аргумент продавцов о том, что их методы согласования работают.
Не работают. Не так, как обещают.
Alignment поверх LLM-семантики (LLM — большая языковая модель, та самая, что отвечает вам в ChatGPT и Claude) держится на тонком слое, который снимается относительно дешёвой атакой. OWASP (Open Worldwide Application Security Project, открытый консорциум по безопасности приложений) в описании риска LLM01:2025 фиксирует это прямо: из-за стохастической природы генеративного AI абсолютно надёжных методов защиты от prompt injection не существует. Каждая мера снижает вероятность и радиус поражения. Устранить риск нельзя.
EchoLeak (CVE-2025-32711, июнь 2025) — первый задокументированный zero-click prompt injection в коммерческой системе. CVE (Common Vulnerabilities and Exposures) — публичный реестр известных уязвимостей с уникальным номером. Zero-click — атака без участия пользователя, без единого клика. Модель сама подхватывает вредоносную инструкцию из загруженного файла, письма
Прочитали книгу? Предлагаем вам поделится своим отзывом от прочитанного(прослушанного)! Ваш отзыв будет полезен читателям, которые еще только собираются познакомиться с произведением.
Уважаемые читатели, слушатели и просто посетители нашей библиотеки! Просим Вас придерживаться определенных правил при комментировании литературных произведений.
- 1. Просьба отказаться от дискриминационных высказываний. Мы защищаем право наших читателей свободно выражать свою точку зрения. Вместе с тем мы не терпим агрессии. На сайте запрещено оставлять комментарий, который содержит унизительные высказывания или призывы к насилию по отношению к отдельным лицам или группам людей на основании их расы, этнического происхождения, вероисповедания, недееспособности, пола, возраста, статуса ветерана, касты или сексуальной ориентации.
- 2. Просьба отказаться от оскорблений, угроз и запугиваний.
- 3. Просьба отказаться от нецензурной лексики.
- 4. Просьба вести себя максимально корректно как по отношению к авторам, так и по отношению к другим читателям и их комментариям.
Надеемся на Ваше понимание и благоразумие. С уважением, администратор knigkindom.ru.
Оставить комментарий
-
Гость Наталья07 сентябрь 16:09
Хорошо. Старое дело, будет раскрыто.Прочитала с удовольствием. Люблю эту серию. ...
Забытое дело Калевалы - Анна Князева
-
Р.Д.У.22 август 02:17
...мне тоже понравился этот русский вестерн. И озвучено неплохо. Советую....
Силантьев Вадим – Засада
-
Гость Любовь21 август 20:01
Прочитала залпом.... интересный сюжет, история захватывает, плакала вместе с героями. спасибо автору за интересное...
Вернуть жену. Без права на прощение? - Ира Орлова
