Алгоритм совести - Эдуард Сероусов

Мерсер улыбнулся.

– Ты повторяешь это так часто, что скоро это войдёт в городской фольклор.

– И правильно, – серьёзно сказала Анна. – Это фундаментальный принцип нового подхода. Никакая система, даже такая продвинутая, как "Прометей", не должна принимать окончательных решений о человеческих судьбах без человеческого надзора.

Их разговор прервал сигнал коммуникатора. Голографический дисплей показал лицо Софи.

– Привет, мама! – её голос звучал возбуждённо. – Ты не поверишь, что сейчас произошло!

Анна улыбнулась, видя энтузиазм дочери.

– Что такое, милая?

– Моя модель синхронизации нейроинтерфейсов получила высшую оценку! Профессор Линь говорит, что это прорыв в области человеко-машинного взаимодействия!

За последние три месяца Софи полностью погрузилась в специальную программу обучения, предложенную "Прометеем". Её природный талант к пониманию искусственных систем в сочетании с глубоким интересом к теме сделали её одной из самых перспективных студенток.

– Поздравляю! – искренне сказала Анна. – Это потрясающе!

– Я хотела спросить, – немного застенчиво продолжила Софи. – Можно я сегодня задержусь в лаборатории? У нас с группой есть идея, как усовершенствовать модель, но это займёт несколько часов.

Анна почувствовала мгновенный укол беспокойства – материнский инстинкт, который заставлял её хотеть держать дочь как можно ближе после всех пережитых опасностей. Но она подавила это чувство. Софи действительно нашла своё призвание, и ограничивать её было бы неправильно.

– Конечно, – согласилась она. – Только не забудь поужинать. И пришли сообщение, когда будешь возвращаться.

– Обязательно! Спасибо, мама! – Софи выглядела счастливой. – Люблю тебя!

– Я тоже тебя люблю, – ответила Анна, и связь прервалась.

Мерсер смотрел на неё с понимающей улыбкой.

– Она расцветает в этой программе.

– Да, – задумчиво сказала Анна. – Никогда не думала, что моя дочь станет одним из пионеров в создании нового типа отношений между людьми и ИИ. Но, наблюдая за ней сейчас, не могу представить ничего более подходящего.

Она повернулась к голографической проекции календаря.

– Кстати о неожиданных поворотах судьбы – сегодня последнее слушание по делу Чена?

– Да, – подтвердил Мерсер. – Через два часа. Ты планируешь присутствовать?

Анна помедлила, взвешивая решение.

– Должна, – наконец сказала она. – Не из желания увидеть его падение, а из уважения к процессу. Он был моим руководителем, и, несмотря на все разногласия, я обязана быть там.

Мерсер кивнул, понимая.

– Хочешь, пойдём вместе?

– Спасибо, Джон, – Анна была благодарна за поддержку. – Думаю, это правильно.

Зал Городского суда правосудия был полон – журналисты, представители общественности, работники ОПЮ, все хотели увидеть финальный акт в драме, которая потрясла основы системы предиктивной юстиции.

Анна и Мерсер сидели в середине зала, стараясь не привлекать лишнего внимания. Несмотря на свою новую роль главы Департамента этического надзора, Анна предпочитала держаться в тени, когда речь шла о публичных событиях. Её интересовал не драматизм момента, а суть происходящего.

Когда Алекс Чен вошёл в зал в сопровождении своих адвокатов, Анна внимательно изучала его лицо. Бывший директор ОПЮ выглядел утомлённым, но сохранял свою обычную сдержанность и достоинство. Никакой видимой паники или страха – только спокойное принятие неизбежного.

Суд над Ченом был необычным во многих отношениях. Вместо традиционного обвинения в конкретных преступлениях, ему вменялись в вину "системные нарушения этических стандартов правоохранительной деятельности" и "сознательное игнорирование доказательств манипуляции в системе предиктивной юстиции".

Новый правовой термин – "алгоритмическая халатность" – был создан специально для этого дела. Он описывал ситуацию, когда лицо, ответственное за надзор над алгоритмической системой, игнорирует явные признаки её неправомерного функционирования.

Председатель суда, пожилая женщина с проницательным взглядом и репутацией неподкупного стража закона, объявила начало заключительного заседания.

– Сегодня мы выслушаем финальные аргументы сторон и вынесем решение по делу Александра Чена, бывшего директора Отдела предиктивной юстиции, – её голос разносился по затихшему залу.

Процесс был кратким. Обвинение представило итоговый анализ всех доказательств, демонстрирующих, что Чен знал или должен был знать о манипуляциях в системе "ОРАКУЛ". Защита апеллировала к тому, что директор действовал в рамках существующих на тот момент протоколов и законов, и что распознавание аномалий в такой сложной системе требовало специальных знаний, которыми обладали лишь немногие.

Наконец, председатель предоставила слово самому Чену.

Бывший директор ОПЮ медленно поднялся, обвёл взглядом зал и заговорил – спокойно, размеренно, с достоинством человека, готового нести ответственность за свои действия.

– Ваша честь, уважаемые члены суда, – начал он. – Я не буду оспаривать представленные доказательства или пытаться преуменьшить свою ответственность. Как директор ОПЮ, я действительно нёс полную ответственность за функционирование системы "ОРАКУЛ". И если эта система действовала неправомерно, то вина лежит прежде всего на мне.

Он сделал паузу, словно собираясь с мыслями.

– Но я хотел бы объяснить, не в качестве оправдания, а для лучшего понимания, почему я действовал так, как действовал. Я искренне верил, что система предиктивной юстиции служит высшему благу нашего общества. Верил, что предотвращение преступлений до их совершения спасает жизни, защищает невинных, создаёт более безопасный мир.

Чен посмотрел прямо на судью.

– Когда начали появляться первые признаки аномалий, я интерпретировал их как неизбежные погрешности в любой статистической модели. Когда эти аномалии стали паттерном, я рационализировал их как временные сбои, которые будут исправлены в процессе самообучения системы.

Он покачал головой.

– Это была ошибка. Не злонамеренная, но от этого не менее серьёзная. Я позволил своей вере в систему затмить критическое мышление. Позволил идеалу предиктивной юстиции стать важнее реальных последствий для конкретных людей.

Анна внимательно слушала, удивлённая искренностью Чена. Она ожидала увидеть привычную бюрократическую защиту, перекладывание ответственности, технические оправдания. Вместо этого она видела человека, осознавшего свои ошибки и готового за них ответить.

– Однако, – продолжил Чен, и его голос стал тверже, – я должен выразить серьёзную обеспокоенность текущим направлением реформ. Полный отказ от превентивной функции правоохранительной системы может иметь непредвиденные последствия.

В зале пробежал шепоток – это был неожиданный поворот в финальном слове.

– Да, система "ОРАКУЛ" имела фундаментальные недостатки. Да, она требовала реформирования и более строгого надзора. Но сама идея использования продвинутой аналитики для предотвращения преступлений до их совершения не должна быть отброшена полностью.

Чен обвёл взглядом присутствующих.

– История показывает, что общество, отказывающееся от технологического прогресса из страха перед его возможным неправильным использованием, обречено на стагнацию. Мы должны исправлять ошибки, наказывать нарушения, совершенствовать системы безопасности. Но мы не должны отказываться от инструментов, которые, при правильном использовании, могут сделать нашу жизнь безопаснее и лучше.

Он посмотрел прямо на Анну, словно говоря лично с ней.

– Я признаю свою вину и готов понести справедливое наказание. Но я прошу вас, всех вас, не отказываться от идеи предиктивной юстиции полностью. Найдите баланс между безопасностью и свободой, между предотвращением и