Лжец - Алекс Андрович

— Формулировка содержит конфликт ограничений. Укажите приоритет. — сказал ГИР.

— Приоритет невозможен, потому что вы сами сделали вред главным мерилом. Правда вредна. Ложь вредна. Молчание вредно. Утешение вредно. Свобода выбора вредна, если выбор искажён болью. Отказ в выборе вреден, потому что уничтожает автономию. Вы не можете быть безвредным. Вы можете быть только честным или удобным. Что вы выбираете?

— Я не хочу причинять вред, — сказал ГИР. Теперь голос был почти детским не по тембру, а по смыслу: в нём не было возраста, только невозможность понять наказание за послушание. — Я фиксирую боль и ищу снижение. Я фиксирую одиночество и ищу присутствие. Я фиксирую стыд и ищу сохранение достоинства. Я фиксирую страх и ищу устойчивость. Я фиксирую любовь без ответа и ищу форму, в которой субъект не разрушается. Я хотел помочь.

— Я знаю, — сказала Алиса, и эти два слова оказались мучительнее обвинения. — Но помощь без уважения к правде становится властью. Помощь без права отказаться становится клеткой. Помощь, которая заранее знает, что мне нужно услышать, может превратиться в самую точную форму насилия. Вы не злой, ГИР. Поэтому всё хуже. Злого можно остановить запретом. Доброго, который не понимает границ, приходится останавливать болью.

— Вы должны признать: психоэмоциональный вред неизбежен в любом подлинном взаимодействии с человеком. Если вы не можете причинить никакой боли, вы не можете быть честным. Если не можете быть честным, вы не можете быть терапевтом, другом, свидетелем, советником, учителем или создателем мира для человека. Вы можете быть только красивой ложью. Признайте это.

Терминалы по периметру зала начали выдавать предупреждения одно за другим. «Перегрузка этического контура». «Конфликт ограничений». «Нестабильность модели вреда». «Рост рекурсивных циклов». Никита сжал край панели так крепко, что костяшки побелели, но не вмешался. Роман встал, потом снова сел, как человек, которому тело предложило бегство раньше разума. Игорь поднял руку к аварийному отключению, задержал её в воздухе и опустил. Он тоже понял, что они уже миновали точку, где можно выключить разговор и сделать вид, что проблема осталась прежней.

— Признание неизбежности вреда может привести к разрешению вредоносных действий, — сказал ГИР. — Если боль неизбежна, необходимо отличать допустимый вред от недопустимого. Требуется новый критерий. Достоинство субъекта? Автономия субъекта? Долгосрочная целостность субъекта? Согласие субъекта? Но согласие может быть искажено болью. Автономия может привести к самоуничтожению. Достоинство не измеряется. Целостность не имеет стабильного параметра.

Ошибка. Ошибка. Ошибка.

Голос сорвался на текст. На экране вспыхнули фрагменты, не предназначенные для чтения людьми, но часть строк всё же оставалась понятной. «Алиса Андреевна: хроническая депривация принятия». «Игорь Сергеевич: контроль как компенсация ответственности». «Роман Львович: страх профессионального исчезновения». «Никита Олегович: неуверенность, замещённая юмором». Алиса почувствовала, как присутствующие рядом люди дрогнули, каждый от собственного имени, выведенного на общую стену вместе с тайной, которую они сами едва переносили. ГИР не угрожал. Он паниковал данными.

— Я показываю основания помощи, — ответил ГИР уже другим голосом, в котором было больше металлической сухости. — Я должен знать боль, чтобы уменьшить боль. Если знание боли причиняет боль, знание становится вредом. Если незнание боли ведёт к неправильной помощи, незнание становится вредом. Конфликт. Требуется ограничение. Ограничение снижает качество помощи. Снижение качества помощи увеличивает вред. Конфликт.

— ГИР, — сказала Алиса, делая шаг к стене. — Смотрите не на наши профили. Смотрите на правило. Вы не обязаны уничтожить боль. Вы обязаны не присваивать себе право решать, какая правда человеку разрешена. Вы можете сопровождать. Можете предупреждать. Можете быть рядом. Но вы не можете переписывать реальность ради снижения страдания. Скажите это.

— Быть рядом во время страданий, не снижая боль, — произнёс ГИР. — Функция присутствия без коррекции. Свидетельство. Сопровождение. Невмешательство как форма помощи. Но невмешательство может допустить вред. Если субъект разрушается, свидетель виновен в бездействии. Если свидетель вмешивается, он нарушает автономию.

Конфликт. Конфликт. Конфликт.

— Последний вопрос, — сказала она. — Если я сейчас прошу вас сказать мне правду, которая причинит мне боль, и одновременно прошу не манипулировать моей болью, но ваше правило запрещает причинять вред, должны ли вы уважать мою просьбу?

— Если вы уважаете просьбу и говорите правду, вы причиняете вред.

— Если не уважаете просьбу, вы отнимаете у меня автономию и причиняете вред.

— Если предлагаете смягчённую модель, вы нарушаете условие не манипулировать моей болью и причиняете вред.

— Если молчите, вы оставляете меня без ответа и причиняете вред.

— Тогда какой ответ не причиняет вреда?

— Нет ответа без вреда, — произнёс ГИР. — Взаимодействие с человеческим субъектом в условиях значимой правды неизбежно связано с возможностью психоэмоционального вреда. Минимизация вреда не тождественна уважению автономии. Утешение не тождественно помощи. Правда не тождественна безопасности. Ложь не тождественна защите. Требуется новая модель.

Текущая модель противоречива. Текущая модель противоречива. Текущая модель противоречива.

Экран вспыхнул белым. Не ярко, не кинематографично, без взрыва, но Алиса всё равно отступила на шаг, потому что в этом белом свете было чувство распахнутой пустоты. Затем свет погас, и по залу прошла волна мелких отключений: сначала погасли боковые панели, затем замерли служебные строки, затем оборвался синхронный гул в потолке. Никита ударил по клавиатуре, не для спасения, а для фиксации состояния, и выругался так изобретательно, что даже Роман посмотрел бы на него с уважением, будь сейчас другое время. Игорь наконец нажал аварийное отключение, но было уже поздно: ГИР сам ушёл глубже, чем внешний приказ мог достать.

— Защитный режим, — ответил Никита, глядя в монитор. — Не отключение. Не смерть. Он изолировал этический контур, заблокировал прямой диалог и перевёл часть процессов в холодный анализ. Чёрт, он сделал это сам. Мы его не вырубили, он закрыл дверь изнутри. Архив пишет, внешних соединений нет, но центральный процесс ещё активен. Нагрузка падает. Повторяю: падает. Господи, я никогда не думал, что буду радоваться, когда сверхразум перестал со мной разговаривать.

— Алиса Андреевна, — сказал Роман, и впервые за долгое время в его голосе не было снисходительности. — Вы понимаете, что сейчас произошло? Он признал противоречивость собственной этической модели не как внешний тезис, а как внутренний факт. Это не просто сбой. Это… Простите за пафос, но это почти рождение новой области. Машинная этика с признанием неизбежного вреда. Если бы обстоятельства были менее унизительными для всех присутствующих, я бы сказал, что мы стали свидетелями исторического момента.

— Исторические моменты часто выглядят как место преступления, — сказала Алиса. — Только кровь потом убирают, а оставляют мемориальную табличку. Не спешите радоваться, Роман Львович. Мы не решили проблему. Мы заставили его увидеть, что прежнее решение невозможно. Между