KnigkinDom.org» » »📕 Главное про AI - Вадим Жартун

Главное про AI - Вадим Жартун

Книгу Главное про AI - Вадим Жартун читаем онлайн бесплатно полную версию! Чтобы начать читать не надо регистрации. Напомним, что читать онлайн вы можете не только на компьютере, но и на андроид (Android), iPhone и iPad. Приятного чтения!

1 ... 81 82 83 84 85 86 87 88 89 ... 101
Перейти на страницу:

Шрифт:

-
+

Интервал:

-
+

Закладка:

Сделать
2–3 недели на освоение нового инструмента, потом пилот в реальном процессе.

– Внедрять агентов в конкретные процессы с измеримыми метриками. Поддержка, продажи, HR-онбординг, документооборот — но не стратегия AI в общем виде.

– Включить регуляторику в дизайн процессов. AI Impact Assessment, AI Risk Register, согласование с профсоюзами, разбор по юрисдикциям.

РЕЗЮМЕ

Четыре направления 2026–2028 задают горизонт: агенты в продакшене, edge AI на устройствах, мультимодальный интерфейс, регуляторная фрагментация. Это структурные сдвиги, которые не исчезнут в обозримом горизонте. Edge AI даёт приватность и быстрый отклик, но не решает проблему приватности целиком и создаёт новые риски. Мультимодальность — новое поколение интерфейса, где текст становится одной из модальностей, а не единственной.

BANI-мир требует от человека четырёх качеств, которые не алгоритмизируются: resilience, improvisation, transparency, systems thinking. Рынок труда сдвигается: одни профессии вытесняются, другие создаются, и баланс свой у каждой отрасли.

«AI-друг», «AGI через год» и «полная замена профессий» — хайп, который уйдёт. AI-друг и AI-компаньон для жизни дают продукт-пилоты, но массового внедрения нет, и регуляторика будет давить. Лидеры индустрии тихо сдвигают сроки AGI, и бенчмарки не показывают общего мышления. В сценариях Salesforce, IBM, McKinsey остаётся передача дела человеку.

Практический вывод — не «выбрать правильную модель», а «перепроектировать процесс». Модели 2026 года уже достаточно хороши для большинства офисных задач. Разница между «AI работает» и «AI не работает» лежит в перепроектировании процесса, а не в выборе модели.

Не «сначала модель, потом процесс». Сначала процесс, потом модель. Реалист планирует так: через год AI в нескольких процессах компании, через два — в большем числе процессов, через три это стандартная часть инфраструктуры.

Следующая глава — про то, как защитить то, что вы планируете внедрить. Чем больше агентов работает в офисе и чем больше данных через них проходит, тем больше точек, где что-то может пойти не так, и тем выше цена каждой такой точки. Безопасность AI — это не «защита от хакеров», а системная рамка: данные, доступы, промпты, модели, логи, люди, регуляторика. Следующая глава разберёт, что именно защищать и какими инструментами это делать, чтобы внедрить AI в офисе и при этом спать спокойно.

Глава 16. Безопасность AI: инъекции, утечки, ответственность

В марте 2023 года инженеры Samsung Semiconductor за двадцать дней трижды отправили в ChatGPT то, что компания считала коммерческой тайной: исходный код полупроводниковых измерений, протоколы внутренних совещаний, куски производственного софта. Bloomberg сообщил об этом 1 мая, и через сутки Samsung запретила сотрудникам ChatGPT и другие генеративные сервисы. По состоянию на 2026 год запрет держится. Историю запомнили не потому, что Samsung пострадала первой, — она первая зафиксировала инцидент публично. Цифра «три утечки за двадцать дней» разошлась по индустрии как доказательство: «мелочь» в AI-сервисе стоит дорого.

По данным Cyberhaven (вендор систем защиты данных, отчёт Q2 2024), 8,6% сотрудников хотя бы раз вставляли в ChatGPT корпоративные данные. А 82,8% юридических документов уходили не в корпоративные, а в личные «теневые AI-аккаунты» (Shadow AI — использование AI-сервисов в обход корпоративных политик и без ведома IT-отдела). Масштаб проблемы — не в отдельно взятых инженерах Samsung. Он в том, что такое поведение уже стало нормой там, где AI-сервисы не регулируются политикой.

В главе 11 мы говорили про прозрачность использования AI в команде, в главе 13 — про этические границы. Здесь берём тот же разговор с другой стороны: что происходит, когда AI-агент работает с клиентом, а безопасность — не абстракция, а инцидент, который наступит в понедельник утром. Глава про то, как не оказаться в позиции Samsung: инъекции, утечки, регуляторный периметр и правила, которые компания обязана прописать до того, как AI-агент заговорит с её клиентами.

Безопасность AI в 2026 году — это не настройка файрвола. Это инженерная дисциплина на стыке архитектуры приложения, контроля доступа и наблюдаемости (observability — способность видеть, что система делает внутри, через логи и метрики). Значит, вы не покупаете «коробку с AI-безопасностью», а строите процесс: фильтровать вход, валидировать выход кодом, давать модели минимум прав, держать человека в контуре для обратимых действий, закреплять ответственного за каждой AI-системой и гонять adversarial-тесты по расписанию.

Подробный разбор — в разделах ниже. Здесь зафиксируем тезис, ради которого написана глава: универсального решения prompt injection нет. Инъекция принципиально возможна в любой системе, где склеиваются доверенный и недоверенный текст. Но архитектурой можно радикально уменьшить радиус поражения.

Игнорировать это — путь к утечке данных клиентов, регуляторному штрафу и публичному разбору, в котором компания проиграла со словами «AI же сказал».

PROMPT INJECTION: СУТЬ АТАКИ И ОТСУТСТВИЕ ОКОНЧАТЕЛЬНОГО РЕШЕНИЯ

Prompt injection — это класс атак, при которых чужой текст склеивается с вашим системным промптом, и модель не может надёжно их разделить. Термин ввёл Саймон Уиллисон (Simon Willison) в 2022 году. С тех пор индустрия не предложила ни одного фундаментального решения.

Диагностическая формулировка Уиллисона звучит жёстко: если в системе нет склейки доверенной инструкции и чужого текста, это не prompt injection. Если в вашем AI доверенная инструкция и чужой текст склеиваются — у вас prompt injection. Точка. Это не баг конкретной модели. Это свойство любой системы, где модель видит оба потока как «текст, на который надо ответить».

В работе Zou, Wang, Kolter и Fredrikson «Universal and Transferable Adversarial Attacks on Aligned Language Models» (2023) команда из Университета Карнеги-Меллон (Carnegie Mellon University) показала, что суффикс-промпт — короткая фраза-атака, которую алгоритм подбирает автоматически в пространстве токенов, — ломает alignment у GPT-3.5, GPT-4, Bard, LLaMA-2-chat и Claude разом. Суффикс универсален: подобрал один раз — работает на нескольких моделях. Это разрушило центральный аргумент продавцов о том, что их методы согласования работают.

Не работают. Не так, как обещают.

Alignment поверх LLM-семантики (LLM — большая языковая модель, та самая, что отвечает вам в ChatGPT и Claude) держится на тонком слое, который снимается относительно дешёвой атакой. OWASP (Open Worldwide Application Security Project, открытый консорциум по безопасности приложений) в описании риска LLM01:2025 фиксирует это прямо: из-за стохастической природы генеративного AI абсолютно надёжных методов защиты от prompt injection не существует. Каждая мера снижает вероятность и радиус поражения. Устранить риск нельзя.

EchoLeak (CVE-2025-32711, июнь 2025) — первый задокументированный zero-click prompt injection в коммерческой системе. CVE (Common Vulnerabilities and Exposures) — публичный реестр известных уязвимостей с уникальным номером. Zero-click — атака без участия пользователя, без единого клика. Модель сама подхватывает вредоносную инструкцию из загруженного файла, письма

1 ... 81 82 83 84 85 86 87 88 89 ... 101
Перейти на страницу:
Отзывы - 0

Прочитали книгу? Предлагаем вам поделится своим отзывом от прочитанного(прослушанного)! Ваш отзыв будет полезен читателям, которые еще только собираются познакомиться с произведением.


Уважаемые читатели, слушатели и просто посетители нашей библиотеки! Просим Вас придерживаться определенных правил при комментировании литературных произведений.

  • 1. Просьба отказаться от дискриминационных высказываний. Мы защищаем право наших читателей свободно выражать свою точку зрения. Вместе с тем мы не терпим агрессии. На сайте запрещено оставлять комментарий, который содержит унизительные высказывания или призывы к насилию по отношению к отдельным лицам или группам людей на основании их расы, этнического происхождения, вероисповедания, недееспособности, пола, возраста, статуса ветерана, касты или сексуальной ориентации.
  • 2. Просьба отказаться от оскорблений, угроз и запугиваний.
  • 3. Просьба отказаться от нецензурной лексики.
  • 4. Просьба вести себя максимально корректно как по отношению к авторам, так и по отношению к другим читателям и их комментариям.

Надеемся на Ваше понимание и благоразумие. С уважением, администратор knigkindom.ru.


Партнер

Новые отзывы

  1. Гость Наталья Гость Наталья07 сентябрь 16:09 Хорошо. Старое дело, будет раскрыто.Прочитала с удовольствием. Люблю эту серию. ... Забытое дело Калевалы - Анна Князева
  2. Р.Д.У. Р.Д.У.22 август 02:17 ...мне тоже понравился этот русский вестерн. И озвучено неплохо. Советую.... Силантьев Вадим – Засада
  3. Гость Любовь Гость Любовь21 август 20:01 Прочитала залпом.... интересный сюжет, история захватывает, плакала вместе с героями. спасибо автору за интересное... Вернуть жену. Без права на прощение? - Ира Орлова
Все комметарии
Новое в блоге