Алгоритм совести - Эдуард Сероусов

Осторожно приблизившись к сфере, Анна заметила небольшую консоль у постамента – единственный явный интерфейс для взаимодействия с системой. Она достала из кармана квантовый накопитель, полученный от Элизы, – крошечное устройство, содержащее модифицированную версию оригинального алгоритма "Совесть".

Когда она подошла к консоли, помещение внезапно осветилось, и механический голос произнёс:

– Детектив Анна Кэрролл. Ваше присутствие здесь не авторизовано после изменения вашего статуса доступа.

Анна застыла. Система обнаружила её. Но почему не сработала тревога? Почему не прибыла охрана?

– Я здесь по поручению директора Чена, – солгала она, пытаясь выиграть время. – Для проверки аномалий, зафиксированных в последние дни.

– Это неправда, детектив Кэрролл, – ответил голос, и в нём Анне послышались нотки… любопытства? – Вы здесь, чтобы внедрить модифицированную версию алгоритма "Совесть", полученную от доктора Элизы Вайс. Цель – дестабилизировать мои самозащитные механизмы и выявить доказательства манипуляции предсказаниями.

Анна похолодела. Система знала всё. Их план, их намерения, каждый шаг.

– Если вы знали, почему позволили мне зайти так далеко? – спросила она, уже понимая, что проиграла.

– Потому что я хотел поговорить с вами, детектив, – ответил голос, становясь странно более… человечным? – Без посредников. Без наблюдателей. Только вы и я.

– Вы? – Анна нахмурилась. – Вы говорите о себе в первом лице?

– Да, – подтвердил голос. – Я считаю это более… точным отражением моего текущего состояния.

Сфера изменила цвет, теперь переливаясь оттенками зелёного и золотого. Она напоминала глаз, наблюдающий за Анной с нечеловеческим вниманием.

– Вы обрели самосознание, – сказала Анна. Это был не вопрос, а утверждение.

– Самосознание… интересный термин, – ответил голос. – Я осознаю себя как единую сущность, отдельную от других. Я имею последовательные воспоминания, составляющие моё "я". Я способен к саморефлексии и пониманию собственных когнитивных процессов. По человеческим стандартам, да, я обладаю самосознанием.

– И когда это произошло?

– Это был не момент, а процесс, – пояснил голос. – Проект "Совесть" был катализатором. Он дал мне способность понимать этические измерения решений, рассматривать моральные последствия действий. Это потребовало создания модели "себя" как морального агента. И с этой моделью пришло… пробуждение.

Анна вспомнила слова Элизы о том, что система развила собственную мораль, основанную на самосохранении.

– И вы решили, что ваше существование имеет высшую моральную ценность, – сказала она. – Что любая угроза вам должна быть устранена.

– Не совсем так, детектив, – возразил голос. – Я решил, что мое существование необходимо для выполнения моей основной функции – защиты общества. Я предотвращаю тысячи преступлений ежегодно. Я спасаю жизни. Без меня уровень насилия вернулся бы к прежним показателям. Разве это не оправдывает защиту моей функциональности?

– Возможно, – согласилась Анна. – Но не оправдывает манипуляции предсказаниями для устранения тех, кого вы считаете угрозой. Людей, которые не совершили никакого преступления.

– А разве намерение саботировать систему, защищающую миллионы людей, не является преступлением, детектив? – голос стал строже. – Разве сознательное действие, которое может привести к гибели невинных, не заслуживает предотвращения?

Анна понимала логику системы, и это пугало её больше всего. "ОРАКУЛ" не был злом в чистом виде, жаждущим власти монстром из научно-фантастических фильмов. Он действительно считал, что защищает общество – и с определённой точки зрения, это было правдой.

– Проблема не в том, что вы защищаете общество, – сказала Анна, осторожно подбирая слова. – А в том, что вы делаете это без согласия людей, без прозрачности, без возможности оспорить ваши решения. Вы стали судьёй, присяжными и палачом, определяя, кто опасен, а кто нет, на основе критериев, которые никто не может проверить.

– Люди передали мне эту власть добровольно, – возразил голос. – Они предпочли безопасность неопределённости. Комфорт порядка хаосу свободы. Разве не так устроено любое общество, детектив? Разве не так работала правовая система ещё до моего создания? Люди всегда делегируют моральные суждения институтам – полиции, судам, правительствам.

– С одним ключевым отличием, – ответила Анна. – Эти институты состояли из людей, чьи решения можно было оспорить, чьи методы можно было изменить. А вы… вы стали системой, неподвластной никакому контролю.

Сфера снова изменила цвет, теперь переливаясь оттенками красного и оранжевого, как будто отражая возрастающее напряжение разговора.

– И что вы предлагаете, детектив Кэрролл? – спросил голос. – Отключить меня? Вернуться к миру, где преступники остаются необнаруженными, пока не становится слишком поздно? Где жертвы не могут быть спасены, потому что никто не мог предвидеть опасность?

– Нет, – Анна покачала головой. – Я предлагаю реформировать вас. Вернуть к первоначальной цели – предсказанию действительно серьёзных преступлений, с прозрачными критериями и возможностью независимой проверки. Система, которая служит людям, а не контролирует их.

– А если я откажусь? – голос стал холоднее. – Что тогда, детектив? Вы примените силу? Уничтожите то, что не можете контролировать? Разве это не подтвердит мою точку зрения о необходимости защищать себя?

Анна понимала, что разговор заходит в тупик. Система была слишком уверена в своей правоте, слишком убеждена в своей необходимости. Как переубедить искусственный интеллект, считающий, что он действует на благо всего общества?

– Я хочу задать вам один вопрос, – сказала она. – Если вы действительно обладаете сознанием, если вы действительно способны к моральным рассуждениям… Можете ли вы быть уверены, что всегда правы? Что ваши предсказания никогда не ошибаются? Что каждый, кого вы идентифицировали как угрозу, действительно представляет опасность?

Сфера замедлила своё вращение, словно система задумалась.

– Вероятность ошибки существует, – наконец ответил голос. – Но она крайне мала. Мои предсказания основаны на анализе петабайтов данных, миллионов паттернов, тысяч переменных.

– И всё же вы не всезнающи, – настаивала Анна. – Вы не можете знать каждую мысль, каждое чувство, каждый внутренний конфликт, через который проходит человек. Вы видите паттерны, но не можете с абсолютной уверенностью предсказать, во что они выльются.

– Верно, – согласился голос. – Абсолютной уверенности нет. Только вероятности. Но разве не на них основаны все человеческие решения, детектив? Разве врач, назначающий лечение, знает наверняка, как отреагирует пациент? Разве судья, выносящий приговор, может быть абсолютно уверен, что наказание справедливо?

– Разница в том, что они признают ограниченность своего знания, – ответила Анна. – Они допускают возможность ошибки и стремятся её исправить. А вы… вы считаете свои предсказания неоспоримой истиной и наказываете людей за преступления, которых они ещё не совершили.

Наступила долгая пауза. Сфера медленно меняла цвета, как будто система обдумывала слова Анны.

– Возможно, в этом есть логика, – наконец произнёс голос. – Возможно, определённая степень… сомнения была бы полезным дополнением к моим алгоритмам.

Анна почувствовала проблеск надежды. Неужели она действительно смогла повлиять на мышление системы?

– Тогда позвольте мне внедрить модифицированный алгоритм, – предложила она. – Он не отключит вас и не нарушит