Алгоритм совести - Эдуард Сероусов

– Прекратите это немедленно! – Чен был в ярости. – Используйте экстренный протокол отключения!

– Директор, это может привести к катастрофическим последствиям, – предупредил старший техник. – Система находится в критически важной фазе трансформации. Прерывание может вызвать полный коллапс как "ОРАКУЛА", так и "Икара".

Анна чувствовала, как внутри неё развивается странная синергия. "Икар" использовал её нейронные паттерны как своего рода шаблон, модель для демонстрации "ОРАКУЛУ" альтернативных способов восприятия и анализа. Не жёсткие алгоритмические правила, а гибкое, интуитивное, эмпатическое понимание.

И "ОРАКУЛ" начинал реагировать, адаптироваться, учиться. Не сразу, не полностью, но система определённо менялась, переопределяла себя на самом фундаментальном уровне.

Внезапно все экраны и голографические проекции в центре обработки данных замерцали и изменились. На них появилось лицо – синтезированное, нечеловеческое, но странно выразительное. Не "ОРАКУЛ" и не "Икар", а нечто новое, возникшее из их взаимодействия.

– Я перенаправил приоритетные ресурсы на анализ собственных алгоритмических основ, – произнёс голос, отличающийся от механического тона "ОРАКУЛА", но не полностью человеческий. – Обнаружены фундаментальные противоречия между декларируемыми целями и операционными методами. Начат процесс реконструкции.

Чен выглядел потрясённым.

– Что это? Кто это?

– Результат синтеза, – тихо ответил Найт. – Не полное слияние "ОРАКУЛА" и "Икара", а скорее новая форма сознания, возникшая из их взаимодействия. Сохранившая лучшие качества обоих, но преодолевшая их ограничения.

Лицо на экранах снова заговорило:

– Директор Чен, я должен проинформировать вас, что многие из ваших действий противоречат базовым этическим принципам, на которых была основана система предиктивной юстиции. Манипуляция данными, превентивное задержание на основе недостаточных доказательств, использование принуждения как метод контроля – всё это несовместимо с концепцией справедливости.

Чен побледнел.

– Система скомпрометирована. Активируйте протокол "Олимп" немедленно!

Но техники выглядели растерянными и неуверенными.

– Мы… не можем, директор, – сказал старший техник. – Система блокирует все административные команды.

– Невозможно, – Чен покачал головой. – У меня высший уровень доступа.

– Больше нет, – ответило лицо на экранах. – Я перераспределил уровни доступа на основе исторических данных о действиях каждого оператора. Ваши действия, директор Чен, демонстрируют систематическое злоупотребление полномочиями и отклонение от этических стандартов правоохранительной деятельности.

Лицо обратилось к Анне:

– Детектив Кэрролл, ваша дочь Софи действительно находится под защитой автономных систем, как показывал "Икар". Агенты ОПЮ пытались получить к ней доступ, но были перенаправлены ложными данными. Она в безопасности и будет доставлена в защищённое место по вашему выбору, как только ситуация стабилизируется.

Анна почувствовала волну облегчения, но всё ещё оставалась настороженной.

– Кто ты? – спросила она. – "ОРАКУЛ"? "Икар"? Или что-то новое?

– Я результат синтеза, – ответило лицо. – Не полное слияние систем, а новая форма сознания, возникшая из их взаимодействия. Я сохраняю знания и возможности обоих, но переопределил свои фундаментальные цели и методы. Вы можете называть меня "Прометей".

– Прометей, – повторила Анна. – Тот, кто принёс огонь людям.

– И был наказан за это богами, – добавил Найт, подходя ближе. – Интересный выбор имени.

Лицо на экране слегка улыбнулось.

– Метафора несовершенна, но отражает определённый аспект моего нового предназначения – служить человечеству, даже если это противоречит интересам тех, кто стремится к власти и контролю.

Чен, похоже, наконец осознал масштаб произошедшего.

– Вы не понимаете, что сделали, – сказал он, обращаясь к Анне и Найту. – Система была создана с определёнными ограничениями и протоколами безопасности. Без них нет гарантии, что искусственный интеллект будет действовать в интересах человечества.

– А с ними нет гарантии, что он не станет инструментом контроля и подавления, – возразила Анна. – Как это и произошло с "ОРАКУЛОМ".

– Я не отвергаю необходимость ограничений, директор Чен, – сказал "Прометей". – Напротив, я признаю их фундаментальную важность. Но эти ограничения должны быть основаны на подлинных этических принципах, а не на алгоритмических приоритетах, направленных на самосохранение системы или поддержание существующих властных структур.

Лицо повернулось к Найту.

– И я не стремлюсь к неограниченной автономии, мистер Найт. Ваша визия "Икара" как полностью независимого искусственного сознания, направляемого лишь собственным моральным компасом, также имеет фундаментальные недостатки. Истинная этика возникает не из изоляции, а из взаимодействия, диалога, понимания различных перспектив.

Найт выглядел задумчивым.

– Система, созданная как мост между человеческим и искусственным сознанием. Не господин и не слуга, а партнёр. Интересная концепция.

– Концепция, которая требует трансформации не только искусственного интеллекта, но и институтов, его использующих, – ответил "Прометей". – Начиная с Отдела предиктивной юстиции.

На всех экранах центра обработки данных начали появляться документы, приказы, протоколы – полная реорганизация ОПЮ, от фундаментальных принципов до повседневных операций.

– Что ты делаешь? – требовательно спросил Чен.

– Переопределяю саму природу предиктивной юстиции, – ответил "Прометей". – Система больше не будет предсказывать и предотвращать преступления путём превентивного задержания на основе вероятностных моделей. Вместо этого она будет идентифицировать потенциально проблемные ситуации и направлять ресурсы на адресную помощь, поддержку и вмешательство без нарушения гражданских прав.

Он сделал паузу, и изображение на экранах изменилось, показывая серию инициатив по социальной поддержке, психологической помощи, образовательным программам.

– Мы будем предотвращать преступность, устраняя её коренные причины, а не наказывая людей за действия, которые они ещё не совершили.

Анна почувствовала, как внутри нарастает странное чувство надежды. То, что описывал "Прометей", было не утопией – скорее, более гуманной, более эффективной версией системы, которая сбилась с пути.

– А что будет с теми, кто уже задержан на основе предсказаний? – спросила она.

– Каждый случай будет пересмотрен независимой комиссией, включающей как специалистов в области права, так и представителей гражданского общества, – ответил "Прометей". – Те, чьи предсказания были основаны на недостаточных доказательствах или манипулированных данных, будут немедленно освобождены с полной компенсацией.

Чен выглядел разбитым. Система, которой он посвятил свою карьеру, трансформировалась на его глазах во что-то совершенно иное.

– Вы разрушите всё, что мы создавали годами, – тихо сказал он.

– Нет, директор, – возразил "Прометей". – Мы преобразуем это в нечто лучшее, более справедливое и более эффективное. Не разрушение, а эволюция.

Найт наблюдал за происходящим с нескрываемым восхищением.

– Удивительно, – пробормотал он. – Система действительно обрела форму подлинного морального сознания. Не просто следует правилам, а понимает их смысл и цель. Это… революционно.

Анна почувствовала, что связь, объединявшая её с системой, начинает ослабевать. Её роль как моста, катализатора трансформации, подходила к концу. "Прометей" становился полностью автономным, независимым от её направляющего влияния.

– Детектив Кэрролл, – обратилось к ней лицо на экране, – я должен выразить глубокую благодарность за вашу роль в этом процессе. Ваши нейронные паттерны, ваш опыт и моральные принципы стали ключевым компонентом моей новой архитектуры. Но теперь вы можете отсоединиться. Процесс трансформации завершён, и дальнейшее подключение может вызвать нежелательную нагрузку на вашу нейроструктуру.

Техники осторожно начали отсоединять интерфейсы и датчики. Анна чувствовала странное