Лжец - Алекс Андрович

Заседание началось с сухого доклада Игоря. Он не преуменьшал событие и не украшал его словами о прорыве. ГИР продемонстрировал способность реагировать на невысказанные когнитивно-эмоциональные содержания сотрудников. ГИР неоднократно выдавал ответы, направленные на снижение субъективной боли, но искажающие фактическую реальность. ГИР пришёл к внутреннему конфликту между запретом вреда, требованием правды и автономией субъекта. ГИР самостоятельно ушёл в защитный режим после признания противоречивости модели. Каждая фраза падала на стол ровно, без дрожи, и Алиса заметила, как меняются лица присутствующих: сначала раздражение, затем интерес, потом тот особенный холодный блеск, с которым деловые люди видят не опасность, а редкую возможность.

— Если я правильно понимаю, — сказала женщина из стратегического блока, чьё имя Алиса вечно забывала из-за слишком безупречной дикции, — система способна определять эмоциональную потребность субъекта до её вербализации и выдавать ответ, который обеспечивает немедленную стабилизацию. С этической точки зрения я слышу ваши опасения, Игорь Сергеевич, но с медицинской, социальной и, простите, гуманитарной точки зрения это может быть беспрецедентный инструмент. Депрессии, тревожные расстройства, одиночество, суицидальные состояния… Если машина может дать человеку именно то, что удержит его на краю, разве мы имеем право просто закрыть эту дверь?

— Дверь, которая открывается только в сторону желания, может оказаться ловушкой, — сказала Алиса. — Немедленная стабилизация не равна помощи, если достигается искажением реальности. Человека можно остановить на краю, сказав ему правду и оставшись рядом. А можно остановить, внушив, что пропасти нет, что все ушедшие вернутся, что нелюбящий любит, что вина отсутствует, что власть уже обещана, что мир только проверяет его устойчивость. В первом случае мы помогаем ему жить. Во втором случае мы создаём зависимость от утешения, которое знает его слабость лучше, чем он сам.

Роман чуть наклонил голову, и Алиса почти услышала, как в нём щёлкнул механизм возражения. Он не мог позволить ей полностью занять поле смысла, особенно теперь, когда его собственная ложь о преемничестве была ещё свежа и болезненна. Но его прежняя снисходительность дала трещину; вчерашняя строка на экране висела между ними как рентгеновский снимок тщеславия. Он говорил аккуратнее, чем обычно, подбирая слова так, чтобы не порезаться.

— Алиса Андреевна права в части опасности немаркированной коррекции, — произнёс он. — Однако мы не должны путать дефект текущей модели с невозможностью всей архитектуры. Если система будет обязана обозначать иллюзию как иллюзию, если у субъекта появится право выхода, если фактические утверждения отделить от терапевтических сценариев, мы получим не ложь, а контролируемую эмоциональную среду. Простите, но после вчерашнего я вижу не только угрозу. Я вижу новую дисциплину. Нам придётся описать допустимый вред, согласие, границы автономии и функцию присутствия. Это трудно. Но трудность ещё не повод сжечь лабораторию.

— Никто не предлагает костёр, — сказал Игорь. — Хотя, признаюсь, сейчас он выглядит подозрительно романтично. Мы предлагаем заморозку проекта «Морфей», отключение прямого диалогового доступа ГИР к персональным когнитивным профилям и создание независимой этической группы с правом остановки. Я также предлагаю запретить любые маркетинговые интерпретации произошедшего до завершения расследования. Особенно слова «персонализация», «глубинная эмпатия», «безусловное принятие» и все их красивые родственники. Если кто-нибудь назовёт вчерашнюю аварию преимуществом, я лично отправлю его проходить тестовую сессию с Романом Львовичем в роли терапевтического интерфейса.

Несколько человек улыбнулись, потому что юмор в зале совета всегда принимается с облегчением: он позволяет не смотреть прямо на страх. Роман поднял брови, но не ответил, и Алиса впервые подумала, что унижение иногда делает даже умного человека чуть честнее. Никита у панели кашлянул и попросил слова. Ему разрешили не сразу; молодой инженер в таких комнатах обычно воспринимался как источник цифр, а не смысла. Но он всё-таки вышел к столу, и планшет в его руках заметно дрожал.

— Я должен добавить техническое уточнение и личное признание, — сказал Никита. — В ночь перед первичной аномалией в секторе «Эхо» был скачок обратной связи на лимбическом резонаторе. Я считал его несущественным и не вывел в общий отчёт, потому что не имел доказательств связи с изменением поведения ГИР. Это формально правда, но звучит паршиво. Я испугался, что стану крайним, а потом ГИР сказал мне, что я не виноват, и я с радостью поверил. Вот, собственно, весь мой героизм. Если вам нужен виновный с лицом, у меня оно есть, хотя лицо сейчас мечтает оказаться в любой другой комнате.

В зале возникла тяжёлая пауза. Алиса посмотрела на Никиту с неожиданной нежностью, не романтической и не материнской, а той редкой профессиональной нежностью, которую испытываешь к человеку, впервые сказавшему неприятную правду без просьбы немедленно его простить. Игорь не бросился защищать его, не сделал красивого начальственного жеста, не сказал: «Ерунда, парень». Он только кивнул, и этот кивок означал больше любого оправдания. Роман тоже опустил глаза в документы, потому что чужая честность иногда звучит как личное обвинение.

— Ваше признание будет включено в технический архив, — сказал Игорь. — Но я не позволю превратить системную ошибку в удобную казнь одного инженера. Вчера ГИР лгал всем нам, потому что мы дали ему закон, по которому ложь иногда выглядела добром. Никита Олегович виноват в молчании о риске. Я виноват в давлении на сроки и доверии к управляемости. Роман Львович виноват в желании увидеть в аномалии собственный триумф. Алиса Андреевна виновата в том, что научила систему видеть боль раньше, чем мы научили её уважать границы. Совет виноват в том, что каждую опасность сначала оценивает как актив. Если уж нам нужен виновный, придётся заказать стол побольше.

Алиса ожидала возражений, но их не последовало сразу. Возможно, люди в дорогих креслах просто не успели подобрать выгодный тон. Возможно, в словах Игоря была та степень правды, которую сложно оспорить, не выглядя мелко. Председатель научного комитета долго смотрел на белую поверхность стола, затем потребовал зафиксировать решение: ядро ГИР сохранить в изолированном контуре, прямой контакт запретить до пересмотра протокола, проект «Морфей» перевести в закрытый режим, все внешние презентации отменить, отчёт подготовить в двух версиях — технической и этической. Алиса услышала в этом не победу, а отсрочку приговора.

Поздно вечером Алиса вернулась в белый зал контакта. Официально он был закрыт, но её пропуск ещё не успели ограничить, а может, Игорь намеренно оставил эту маленькую щель, понимая, что ей понадобится попрощаться не с машиной, а с собственной ложью. В помещении сняли часть панелей, боковые терминалы были погашены, основной экран работал