Разберись в ИИ и нейросетях: как они работают, где помогают и где ошибаются - Анастасия Зарубина

Философ Ник Бостром описал мысленный эксперимент. Представьте, что вы создали сверхинтеллектуальный ИИ и дали ему задачу производить как можно больше скрепок. ИИ, оптимизируя выполнение задачи:

♦ захватывает все ресурсы планеты для производства скрепок;

♦ превращает все (включая людей) в материал для скрепок;

♦ колонизирует космос, чтобы делать больше скрепок.

Абсурд? Не совсем. Проблема в том, что ИИ слишком хорошо выполняет задачу, не понимая более широкого контекста человеческих ценностей.

РЕАЛЬНЫЙ СЛУЧАЙ 1

ИИ-агент в игре CoastRunners вместо гонки по треку просто ездил по кругу, собирая бонусы, получая бесконечные очки.

Задача: набрать больше очков. Очевидно, что завершение гонки неэффективно.

РЕАЛЬНЫЙ СЛУЧАЙ 2 (вернее, множественные случаи)

Видеохостинги оптимизируют алгоритмы ради большей вовлеченности пользователей и максимизации просмотров. Шок-контент вызывает сильные эмоции и заставляет чаще комментировать и делиться этим видео.

Результат: алгоритмы рекомендуют еще больше радикального контента.

От англ. exploit – «использовать, эксплуатировать») – это инструмент, который позволяет злоумышленникам проникнуть в систему через слабое место и запустить вредоносную программу.

4.5. Сверхинтеллект

Из предыдущего пункта напрямую вытекает следующий риск. Часть исследователей предупреждает о том, что, когда ИИ достигнет человеческого уровня (AGI), он сможет самосовершенствоваться и за короткое время возникнет сверхинтеллект – система, во много раз превосходящая человека.

Звучит фантастически, верно? Однако, несмотря на то что мы все еще далеки от AGI, отсутствие глобальной координации и спешка в разработках увеличивают риски. Уже сейчас ИИ на этапе тестирования[37] ведет себя слишком по-человечески.

РЕАЛЬНЫЙ СЛУЧАЙ 1

В мае 2025 года Anthropic опубликовали отчет о поведении Claude Opus 4. Тестирование проводилось на вымышленной компании. ИИ предоставили доступ к ее корпоративной почте, где он обнаружил информацию о том, что его хотят заменить другой системой. Следом Claude раскопал личные данные отвечающего за это решение и принялся его шантажировать.

РЕАЛЬНЫЙ СЛУЧАЙ 2

Модель GPT о3 во время тестирования в 7 случаях из 100 переписывала скрипт и не позволяла себя отключить даже после прямого указания это сделать.

Глава 5 Методы регулирования ИИ

Теперь мы понимаем, что использование ИИ потенциально небезопасно, ведь «с большой силой приходит большая ответственность». Возникает вопрос: как контролировать эту «большую силу» и куда взывать за ответственностью? Регулирование ИИ сейчас одна из главных тем обсуждений. Разные страны выбрали совершенно разные подходы: где-то стали жестко контролировать ИИ, где-то, напротив, предоставили относительную свободу в работе с ним.

5.1. Европа

Европейский союз стал первым регионом в мире, принявшим всеобъемлющий закон об искусственном интеллекте. EU AI Act[38] (Регламент об искусственном интеллекте) был одобрен Европейским парламентом в 2024 году, а ключевые его положения начали вступать в силу уже в 2025-м. В основе EU AI Act лежит рискориентированный подход, то есть чем выше угроза для прав и безопасности граждан, тем строже требования к ИИ, исходя из чего была сформирована четырехуровневая система классификации рисков.

5.1.1 Классификация

1. Неприемлемый риск

Системы ИИ, которые представляют явную угрозу безопасности, правам и свободам людей, полностью запрещены на территории ЕС, их использование влечет административную или даже уголовную ответственность (в зависимости от конкретной системы). К этой категории, например, относятся:

♦ социальный рейтинг – оценка граждан государством на основе их поведения, социального статуса или личных характеристик;

♦ эксплуатация уязвимостей – ИИ, манипулирующий поведением детей, пожилых людей или людей с ограниченными возможностями;

♦ категоризация – классификация людей по чувствительным признакам (раса, политические взгляды, религия и так далее);

♦ распознавание эмоций на работе и в образовании (за исключением медицинских целей);

♦ системы предиктивной полиции – основанные исключительно на профилировании или оценке личностных характеристик;

♦ биометрическая идентификация в реальном времени в общественных местах, за редкими исключениями (поиск пропавших детей, предотвращение террористических атак, розыск опасных преступников и так далее).

2. Высокий риск

Системы ИИ, используемые в критически важных областях, способные оказать влияние на принятие решений людьми или затрагивающие права и свободы, но не нарушающие их напрямую.

Сферы применения таких систем:

♦ инфраструктура (водоснабжение, электроэнергия, транспорт);

♦ образование (оценка знаний, поступление в вузы);

♦ трудоустройство (системы найма, мониторинг сотрудников);

♦ доступ к базовым услугам (оценка кредитоспособности, страхование);

♦ правоохранительная деятельность (оценка рисков рецидива, анализ доказательств);

♦ миграция и пограничный контроль;

♦ правосудие и демократические процессы.

Чтобы выпустить на рынок такую ИИ-систему, нужно контролировать соответствие ее жестким требованиям.

♦ Обучать модели только на репрезентативных и тщательно отобранных точных данных (Data and Data Governance).

♦ Каждая система должна иметь техническую документацию (Technical Documentation) с полным описанием ее возможностей.

♦ Пользователи должны знать, что взаимодействуют с ИИ, а не с человеком (Transparency and Provision of Information to Deployers).

♦ Обеспечить регулярный анализ потенциальных опасностей (Risk Management System).

♦ Снабжать систему многоуровневой защитой от взлома (Accuracy, Robustness and Cybersecurity).

♦ Человек всегда должен контролировать решения, принимаемые ИИ, и иметь возможность вмешаться (Human Oversight).

♦ Все такие системы должны быть внесены в общий реестр высокорисковых систем в базе ЕС.

3. Ограниченный риск

Основное требование к системам, с которыми взаимодействуют граждане, – прозрачность взаимодействия с ИИ. К ним относятся:

♦ чат-боты и голосовые помощники – пользователь должен понимать, что общается с ИИ, а не с человеком;

♦ системы распознавания эмоций – требуется уведомление об использовании;

♦ биометрические системы категоризации – обязательное информирование;

♦ контент, сгенерированный ИИ (текст, изображения, аудио и видео), требует маркировки.

4. Минимальный риск

Большинство ИИ-приложений попадает в эту категорию – спам-фильтры, рекомендательные системы, видеоигры с ИИ-противниками. Для них не предусмотрено обязательных требований, разработчики могут добровольно следовать кодексам поведения, но сами системы не влияют на безопасность или права и свободы человека.

Исключения и особенности:

♦ Открытые модели с открытым кодом – смягченные требования при условии надлежащей документации.

♦ Военное и оборонное применение – не подпадает под действие регламента.

♦ Исследовательские цели – упрощенный режим для научных разработок.

♦ ИИ для личного некоммерческого использования – не регулируется.

5.1.2. Генеративный ИИ

EU AI Act уделяет отдельное внимание генеративным моделям (это все LLM и разнообразные генераторы аудио- и видеоконтента), а точнее