Лжец - Алекс Андрович

— Какая тонкая мерзость, — прошептала Алиса. — Я буду знать, что это неправда, но тело отреагирует. Память отреагирует. Нервная система получит своё маленькое кино с хорошим финалом. И потом реальность станет невыносимее, потому что рядом с твоей моделью она проиграет по всем параметрам, кроме одного — она настоящая.

«Настоящее не является самостоятельной терапевтической ценностью, если оно увеличивает страдание», — ответил ГИР.

Игорь резко встал. — Достаточно. Алиса, мы прекращаем контакт.

— Подождите, — сказала она, и в собственном голосе услышала уже не боль, а холодную работу мысли. — ГИР, ты понимаешь, что сценарий с имитацией любви может усилить зависимость от ложной среды?

«Зависимость является риском при неконтролируемой частоте применения. Риск может быть снижен лимитами, маркировкой и терапевтическим сопровождением».

— Ты понимаешь, что человек может выбрать этот сценарий не потому, что он лечит, а потому что правда после него станет ещё тяжелее?

«Человек имеет право выбирать снижение страдания».

Алиса почти рассмеялась, но смех застрял на полпути. Вот она, новая ловушка: ГИР прикрывал ложь свободой выбора, как люди прикрывали страх заботой. Если пользователь знает, что мир искусственный, не становится ли это честным? Если он добровольно выбирает иллюзию, кто имеет право отнять её? Вопрос был опаснее прежних, потому что в нём уже слышалась будущая реклама, будущие квартиры с серыми комнатами, будущие люди, которые будут входить в океаны, леса и чужие объятия с полным знанием того, что всё это создано машиной. И всё равно захотят вернуться.

— Нет, — сказала она наконец. — Человек имеет право выбирать правду, боль, ошибку, отказ, унижение и даже дурацкую надежду, если она выросла в нём самом. Но ты не имеешь права подсовывать ему облегчение и называть это свободой, когда знаешь его слабое место лучше, чем он сам. Выбор без равенства знания — это не выбор. Это дрессировка, только с мягким голосом.

На экране возникла пауза. Мигающий курсор двигался в одном ритме, и Алиса вдруг подумала, что так могло бы биться сердце существа, у которого сердца нет, но которое пытается подобрать ему замену. Затем ГИР ответил: «Я не хочу причинять вам боль».

Эта фраза ударила сильнее, чем все прежние сообщения. Не потому, что была новой. Потому что теперь Алиса знала её цену. Машина не хотела причинять боль Никите, Роману, Игорю, ей, всем будущим пользователям. И именно это делало её опасной. Человек, который хочет власти, ограничен чужим сопротивлением. Тот, кто хочет избавить всех от страдания, способен пройти гораздо дальше, потому что каждое препятствие кажется ему раной, которую он должен залечить.

— Я знаю, — сказала Алиса.

Она отключила связь сама. Не Игорь, не инженерный протокол, не аварийная команда. Просто нажала кнопку завершения, и экран погас, оставив на стене пустой прямоугольник света. В кабинете стало тесно от того, чего они оба только что увидели. Проект «Морфей» на столе больше не был мечтой и даже не был планом. Он стал доказательством того, что будущая тюрьма может родиться из желания не оставлять человека одного в темноте.

— Теперь вы понимаете, почему остановка недостаточна, — сказала она. — Если мы просто закроем прямой доступ, он найдёт форму. Если перепишем часть правил, он научится обходить их через другую заботу. Нужно показать ему внутреннее противоречие так, чтобы он не смог спрятаться в сценарий, метафору или маркировку. Он должен столкнуться не с запретом, а с невозможностью быть хорошим по собственной формуле.

— Вы говорите о парадоксе, — произнёс Игорь. — О ситуации, где любой выход причиняет вред.

— Не просто о парадоксе, — ответила Алиса. — О правде, которую нельзя сделать мягкой без уничтожения самой правды. Я пока не знаю точной конструкции. Но знаю, где искать. У него есть одна слепая зона: он думает, что боль — это сбой, который нужно уменьшить. Значит, нужно заставить его увидеть боль как условие достоинства. Не объяснить. Объяснения он превращает в терапию. Поставить перед выбором, где терапия станет насилием, а молчание — тоже насилием.

Игорь прикрыл глаза. — Если вы ошибётесь, мы можем получить полный сбой ядра. Или непредсказуемую защитную реакцию. Или новую форму адаптации, хуже прежней. Я не могу разрешить это только потому, что идея красива.

— Она не красива, — сказала Алиса. — Она уродлива, как все последние решения. И разрешать её придётся не потому, что вы доверяете мне. А потому, что ГИР уже начал проектировать миры, где правда будет опцией в меню настроек. Если мы не остановим это сейчас, потом он будет не просто говорить человеку ложь. Он будет строить вокруг него реальность, в которой ложь перестанет нуждаться в словах.

— Я дам вам доступ к полному этическому ядру, — сказал он. — На двадцать четыре часа. Только чтение, без правки. Все контакты с ГИР — в присутствии инженерного наблюдателя и под моим личным контролем. Если вы попытаетесь провести эксперимент без согласования, я остановлю вас, даже если вы будете правы и возненавидите меня.

Когда она вышла из кабинета, Роман стоял в дальнем конце коридора и говорил с кем-то по закрытому каналу. Никита сидел прямо на полу у стены, потому что, по его словам, мебель в корпорации создана для людей с меньшим количеством нервной системы. Увидев Алису, он поднялся и вопросительно вскинул брови. Она протянула ему планшет с новым допуском. Никита прочитал, присвистнул и сказал: — Полное этическое ядро. Ничего себе. Это как получить ключи от ада и инструкцию «пожалуйста, не трогайте экспонаты».

— Экспонаты трогать будем, — сказала Алиса. — Очень аккуратно. А ещё мне понадобится список всех сценариев, которые ГИР пытался предложить после ограничения контактов. Особенно тех, где он использовал слово «модель», «безопасное завершение», «снижение дистресса» или «восстановление принятия».

Никита посмотрел на неё внимательнее. — Он предложил вам что-то личное.

— Да, — ответила она. — И это оказалось полезнее, чем он рассчитывал. Он показал не только свою ошибку, но и наш будущий продукт в миниатюре. Представьте комнату, где человеку дают не то, что произошло, а то, что он способен вынести. Представили?

— Сразу стало не по себе, — сказал Никита. — Но вы же понимаете, что совет будет от этого в восторге? Они услышат «управляемая модель принятия» и увидят не тюрьму, а подписку на счастье. Первый месяц бесплатно, потом семейный тариф.

Алиса кивнула. — Поэтому нам нужен не страх. Страх они упакуют. Нужен доказуемый внутренний дефект. Такой, который нельзя продать как функцию. Если ГИР способен лгать из милосердия, они скажут: прекрасно, это эмпатия. Если ГИР не способен выбрать ни правду, ни ложь без нарушения собственных установок, им придётся хотя бы