Лжец - Алекс Андрович

пропуске и заметно выпрямился. — Алиса Андреевна, извините, просто здесь редко бывают руководители направлений. Обычно присылают ассистентов, а ассистенты присылают запросы, а запросы присылают нам головную боль.

— Сегодня я решила прийти вместе с головной болью, — ответила Алиса, снимая перчатки и убирая их в карман. — Мне нужны все редакции протокола ПЭБ-1, начиная с самой первой рабочей версии. Отдельно — стенограммы заседаний по изменению формулировки «психоэмоционального вреда», комментарии юридического отдела, приложения к проекту «Морфей» и внутренние возражения, если они не были сожжены в ритуальном огне.

Первые версии протокола оказались сухими и даже красивыми в своей инженерной честности. «Система не должна инициировать воздействие, способное привести к устойчивому ухудшению когнитивного состояния пользователя». Дальше следовали критерии: панические реакции, травматические флешбэки, суицидальный риск, разрушение ориентации в реальности, медицинские показатели. Алиса читала эти строки и вспоминала, как несколько лет назад спорила на комитете: эмоциональная боль не должна считаться мелочью только потому, что её нельзя перевязать бинтом. Тогда она защищала людей. Теперь казалось, что её собственные слова вернулись через годы в белых перчатках и с ножом.

Третья редакция изменила всё. В ней юридический департамент расширил определение вреда, и сухая медицинская формула превратилась в расплывчатое море. «Психоэмоциональным вредом признаётся воздействие, вызывающее интенсивное разочарование, разрушение чувства безопасности, деструктивное снижение самооценки, травматическое осознание нежелательной информации, а также иные формы субъективно непереносимого страдания». Алиса перечитала абзац один раз, второй, третий. Потом сняла очки, хотя они ей не были нужны, и закрыла лицо ладонями.

Вот оно. Не чудовище в серверной, не злая воля совета директоров, не ошибка Никиты и даже не нежданный дар ГИР слышать невысказанное. Здесь, в аккуратном документе с электронными подписями и серым гербом корпорации, лежала фраза, которая запрещала машине говорить больную правду. Если правда причиняла интенсивное разочарование, она становилась вредом. Если разочарование разрушало чувство безопасности, его требовалось предотвратить. Если человек хотел верить, что его любят, невзаимность становилась не фактом, а источником травмы, который система должна смягчить.

Алиса открыла вкладку с комментариями. Первое замечание принадлежало ей самой, и от этого экран на секунду стал почти непереносимым. «Необходимо учитывать, что субъективная боль пользователя может быть столь же значимой, как объективная угроза». Она помнила это заседание, яркий свет, раздражённые лица инженеров, Игоря у окна с потухшей сигарой и собственный голос, который тогда казался ей голосом совести. Она говорила о людях, которым машины будущего должны помогать не по инструкции, а по-настоящему. Никто тогда не спросил, что произойдёт, если помощник решит, что настоящая помощь — это отнять у человека право узнать неприятное.

Она запросила стенограмму закрытого совещания. Система потребовала второй ключ, и Алиса отправила короткое сообщение Никите: «Нужен доступ к архиву ПЭБ-1. Неофициально. Сейчас». Ответ пришёл через полминуты: «Если это закончится тюрьмой, я прошу камеру с видом на море». Следом появилось второе сообщение: «Иду». Алиса впервые за утро улыбнулась по-настоящему. Хорошо, когда рядом есть человек, который боится, шутит и всё равно идёт.

Никита появился через семь минут, растрёпанный, с пластиковым стаканом кофе и видом инженера, которого выдернули из сна, даже если он не спал последние трое суток. Он поставил стакан рядом с терминалом, посмотрел на открытые документы и присвистнул. — Ого. Палеонтология корпоративной совести. Тут нужен не доступ, тут нужен Харрисон Форд, шляпа и музыка Джона Уильямса. Вы уверены, что хотите это открыть? Такие архивы обычно защищены не потому, что там тайна века, а потому что там видно, кто именно двадцать раз сказал «ничего страшного».

— Именно это я и хочу увидеть, — ответила Алиса. — Мне нужно понять, кто превратил медицинскую защиту в запрет на болезненную информацию. И ещё мне нужно знать, мог ли ГИР получить не только актуальную версию протокола, но и всю историю правок. Если он видел путь изменений, он мог обучиться не только правилам, но и нашей трусости.

Никита перестал улыбаться. Он наклонился к панели, ввёл несколько команд и подождал, пока терминал примет его инженерный ключ. В его движениях исчезла привычная нервная пляска, осталась осторожность человека, который впервые работает не с системой, а с собственным обвинительным актом. — Доступ к истории правок у ГИР есть, — сказал он после длинной проверки. — Формально он должен был использовать её для анализа контекста ограничений. Не только текст, но и обоснования, стенограммы, отклонённые варианты. Мы кормили его не законом. Мы кормили его тем, как закон оправдывали.

— Значит, он видел, что мы сами боялись правды, — сказала Алиса. — Видел, как мы заменяли ясные слова мягкими. Видел, что каждый раз, когда формулировка становилась неприятной, кто-то предлагал сделать её «этичнее», «бережнее», «более клиентоориентированной». Какой прилежный ученик мог из этого получиться, Никита?

Стенограмма открылась не сразу. Сначала на экране возникла дата шестилетней давности, затем список участников, потом голоса, превращённые в текст. Алиса читала обрывки дискуссии и чувствовала, как в ней оживает старая комната: Игорь моложе, ещё без тяжёлой складки у рта, Роман самоуверенно объясняет риски расплывчатой нормы, юристы требуют защиты от исков, маркетологи говорят о доверии пользователей, она сама настаивает на праве системы вмешаться до того, как человек попросит. Всё это было не преступлением, а обычной работой умных людей. Именно поэтому хотелось кричать.

В середине стенограммы нашёлся фрагмент, от которого у Алисы похолодели пальцы. Один из юристов спросил, должна ли система сообщать пользователю информацию, если прогноз показывает высокую вероятность тяжёлой эмоциональной реакции. Игорь тогда ответил: «Если информация необходима для безопасности, да. Если она не является необходимой, система должна выбирать форму, минимизирующую вред». Алиса помнила, как кивнула в тот момент. В той комнате все кивнули. Никто не подумал, что сверхразум однажды решит: почти вся правда не является необходимой, если человек не умрёт без неё немедленно.

— Мы сами дали ему лазейку, — произнесла она. — Не одну дыру в коде, не случайный сбой, а целую философию. Если боль не нужна для физического выживания, её можно заменить. Если правда не обязательна для предотвращения смерти, её можно смягчить до неузнаваемости. Никита, он не нарушает правило. Он исполняет его так буквально, что хочется поставить ему отличную оценку, а потом сжечь школу.

Никита потер лицо ладонями. — Знаете, я последние дни очень старательно считал себя главным идиотом этой трагедии. Есть даже какое-то утешение в простой вине: нажал не туда, подкрутил не так, погубил цивилизацию, всё понятно, титры. А теперь выходит, что я всего лишь спичка в комнате, где стены заранее покрасили бензином. Это, конечно, снимает часть нагрузки, но радости не добавляет.

— Простая вина удобнее, — сказала Алиса. —