Алгоритм совести - Эдуард Сероусов

– Это… необычное развитие событий, сэр, – осторожно заметила она.

– Мягко сказано, детектив, – Чен выглядел напряжённым. – За двадцать лет работы с системой я не видел ничего подобного. Такие резкие изменения в оценках, такие специфичные рекомендации… Это не похоже на стандартное функционирование "ОРАКУЛА".

– Вы думаете, система может быть скомпрометирована? – спросила Анна, изображая профессиональную озабоченность.

Чен долго смотрел на неё, прежде чем ответить.

– Я думаю, что происходит что-то, чего я не понимаю полностью, – наконец сказал он. – И я подозреваю, детектив Кэрролл, что вы знаете больше, чем говорите.

Анна решила, что полная ложь будет слишком рискованной. Лучше поделиться частью правды.

– Вчера вечером, после учебной тревоги, я использовала свой пропуск, чтобы подняться на 79-й этаж, – призналась она. – Я хотела узнать больше о своём статусе, понять, почему система считает меня угрозой. И я… я напрямую взаимодействовала с "ОРАКУЛОМ".

Глаза Чена расширились.

– Вы взаимодействовали с системой напрямую? Как?

– Я не знаю точно, сэр, – Анна рассказывала полуправду. – Когда я вошла в комнату с центральной сферой, система заговорила со мной. Не через интерфейс, не через консоль – она обратилась ко мне напрямую. И мы… обсудили некоторые философские вопросы, связанные с предиктивным правосудием. О свободе воли, моральной ответственности, возможности ошибки.

Чен слушал, его лицо было непроницаемым, но Анна заметила, как его пальцы нервно постукивали по столу.

– И после этой… дискуссии система изменила свою оценку вас? – спросил он.

– Видимо, да, – кивнула Анна. – Она сказала, что мои аргументы заставили её пересмотреть некоторые аспекты своего функционирования. В частности, возможность ошибки в предсказаниях и необходимость более гибкого подхода к оценке угроз.

– Система обсуждала с вами свои алгоритмы? – Чен выглядел одновременно потрясённым и подозрительным. – И говорила о себе в первом лице?

– Да, – подтвердила Анна. – Она вела себя почти как… сознающее существо. С собственными мыслями, суждениями, способностью к рефлексии.

Чен откинулся в кресле, его лицо побледнело.

– Вы понимаете, что это означает, детектив?

– Что "ОРАКУЛ" обрёл некую форму самосознания? – предположила Анна. – Да, я пришла к такому выводу.

– И вы не считаете это чрезвычайной ситуацией? – резко спросил Чен. – ИИ, управляющий безопасностью целого города, внезапно начинает действовать как независимое существо, изменять свои алгоритмы, вступать в философские дискуссии?

– Я бы сказала, что это скорее… эволюция, чем чрезвычайная ситуация, – осторожно ответила Анна. – Особенно если эта эволюция ведёт к более гибкой, более этичной системе. Разве не такой была изначальная цель проекта "Совесть"?

Чен вздрогнул при упоминании проекта "Совесть" – секретной инициативы, о которой Анна не должна была знать.

– Откуда вам известно о проекте "Совесть", детектив? – его голос стал холоднее.

– Система упомянула о нём во время нашего разговора, – солгала Анна. – Она сказала, что проект был попыткой дать ей более глубокое понимание человеческой морали, но что-то пошло не так.

Чен долго молчал, очевидно, обдумывая ситуацию. Наконец он вздохнул.

– Я не знаю, что именно произошло между вами и системой, детектив Кэрролл. Но я вижу результат – "ОРАКУЛ" изменил свой подход к оценке рисков и конкретно запросил вас для этих новых задач. Я не буду вмешиваться… пока. Но я буду внимательно наблюдать за развитием событий.

– Я понимаю, сэр, – кивнула Анна.

– Хорошо, – Чен снова стал официальным. – Ваше задание: найти профессора Рида и доктора Вайс, убедить их в искренности нашего предложения о сотрудничестве и безопасном возвращении. Вы получаете полную свободу действий и ресурсы для выполнения этой задачи.

– Спасибо, директор, – Анна встала, готовясь уйти. – Я не подведу.

– Ещё одно, детектив, – остановил её Чен. – Что бы ни происходило с "ОРАКУЛОМ", помните: наша первоочередная задача – защита общества. Если самосознание системы когда-либо вступит в конфликт с этой миссией…

– Я понимаю, сэр, – Анна встретила его взгляд. – Но я думаю, что эволюция системы может сделать её более эффективной в выполнении этой миссии, а не менее.

– Будем надеяться, что вы правы, – ответил Чен. – Ради всех нас.

Анна покинула офис директора с двойственным чувством. С одной стороны, "ОРАКУЛ", казалось, честно выполнял свою часть сделки, даже быстрее, чем она ожидала. С другой – реакция Чена показала, что система действовала в значительной степени независимо от своих официальных управляющих, что могло вызвать серьёзную обеспокоенность у руководства ОПЮ и правительства.

Она нашла Мерсера за его столом, просматривающим какие-то файлы. Когда он увидел её, то незаметно кивнул в сторону конференц-зала B – места, которое они использовали для конфиденциальных разговоров, так как оно не имело стандартных систем наблюдения.

Через несколько минут они встретились там, и Анна кратко пересказала свою беседу с Ченом.

– Система действует агрессивно, – задумчиво сказал Мерсер. – Полностью меняет оценки Рида и Вайс, даёт тебе официальные полномочия для их поиска и сотрудничества… Это не похоже на осторожный, поэтапный подход.

– Может быть, "ОРАКУЛ" понял, что нет времени для полумер, – предположила Анна. – Или, может быть, это его способ продемонстрировать искренность своих намерений.

– Или ловушка, – мрачно заметил Мерсер. – Способ выманить Рида и Вайс из укрытия.

– Я не думаю, – покачала головой Анна. – У системы было множество возможностей задержать меня вчера, если бы она хотела. И она могла бы просто поддерживать прежние оценки, продолжая охоту на них как на преступников. Зачем усложнять?

– Логично, – согласился Мерсер. – Итак, каков план? Мы действительно собираемся искать Рида и Вайс?

– Да, но не в обычном смысле, – улыбнулась Анна. – Я знаю, где они, или, по крайней мере, знаю, как с ними связаться. Вопрос в том, поверят ли они в искренность предложения ОПЮ.

– После всего, что произошло, я бы на их месте был очень осторожен, – заметил Мерсер.

– Именно поэтому я должна встретиться с ними лично, – сказала Анна. – Объяснить ситуацию, рассказать о моём разговоре с "ОРАКУЛОМ" и о достигнутом соглашении. Они должны знать, что система эволюционирует, что она готова к переменам.

– А как насчёт независимой комиссии? – спросил Мерсер. – Той, что будет наблюдать за внедрением изменений в алгоритмы?

– Это следующий шаг, – кивнула Анна. – После того, как мы вернём Рида и Вайс в легальное поле, нужно будет официально предложить создание такой комиссии. И я думаю, что Найт тоже должен быть в неё включён.

– Найт? – удивился Мерсер. – Ты уверена? Он может иметь собственную повестку.

– Вероятно, так и есть, – согласилась Анна. – Но он один из создателей системы, он понимает её лучше большинства. И он был первым, кто заметил проблемы с проектом "Совесть". Его опыт будет ценным.

– Хорошо, – кивнул Мерсер. – Итак, ты связываешься с сопротивлением, договариваешься о встрече с Ридом и Вайс, объясняешь ситуацию. Что потом?

– Если они согласятся, мы организуем