Алгоритм совести - Эдуард Сероусов

Чен закончил речь и сел, сохраняя то же спокойное, достойное выражение лица.

Зал оставался в тишине несколько секунд, осмысливая услышанное. Затем председатель суда объявила перерыв для совещания и вынесения решения.

Анна и Мерсер вышли в коридор суда, где уже собрались группы людей, оживлённо обсуждающих последнюю речь Чена.

– Что думаешь? – спросил Мерсер, когда они нашли относительно тихий угол.

– Неожиданно, – признала Анна. – Я думала, он будет до последнего отстаивать старую систему. Но в его словах есть рациональное зерно.

– Ты согласна с ним? – Мерсер выглядел удивлённым. – После всего, что произошло?

Анна задумалась, тщательно формулируя ответ.

– Не со всем. Но с тем, что нам нужен баланс – да. "Прометей" не отказался полностью от предиктивной функции. Он изменил методы, приоритеты, подход. Вместо превентивного ареста – превентивная поддержка. Вместо контроля – помощь.

Она посмотрела в окно коридора, где был виден панорамный вид на город.

– Но сама идея использования данных и аналитики для выявления потенциально проблемных ситуаций до того, как они перерастут в трагедию? Да, это стоит сохранить. При условии правильных ограничений, надзора, прозрачности.

Мерсер медленно кивнул.

– В этом есть смысл. Не отказываться от инструмента полностью, а научиться использовать его правильно.

– Именно, – согласилась Анна. – Кстати, это напоминает мне о нашей завтрашней встрече с представителями образовательного сектора. Нам нужно обсудить новые протоколы использования предиктивной аналитики в школах.

– Предиктивная аналитика в школах? – Мерсер выглядел обеспокоенным. – Не слишком ли рано возвращаться к этому?

– Не для контроля или оценки, – пояснила Анна. – Для выявления учеников, которым может потребоваться дополнительная поддержка. Детей с нераспознанными обучающими проблемами, эмоциональными трудностями, потенциалом, который иначе мог бы остаться незамеченным.

Мерсер выглядел не полностью убеждённым, но готовым рассмотреть идею.

– Звучит неплохо в теории. Но кто будет следить, чтобы система не начала снова классифицировать детей, навешивать ярлыки, определять их будущее?

– Мы будем, – твёрдо сказала Анна. – Департамент этического надзора. Родительские комитеты. Независимые аудиторы. Вся система сдержек и противовесов, которую мы создаём.

Их разговор был прерван объявлением о возобновлении заседания. Они вернулись в зал суда, где уже собирались остальные присутствующие.

Председатель суда заняла своё место, и в зале установилась напряжённая тишина.

– Суд готов объявить своё решение по делу Александра Чена, – сказала она. – После тщательного рассмотрения всех представленных доказательств и аргументов, суд признаёт обвиняемого виновным в алгоритмической халатности и пренебрежении должностными обязанностями по надзору за системой предиктивной юстиции.

Она сделала паузу, затем продолжила:

– Учитывая признание вины, сотрудничество со следствием, а также тот факт, что обвиняемый действовал в рамках существовавших на тот момент протоколов, суд приговаривает Александра Чена к трём годам условного заключения с обязательным общественным служением в Комиссии по этике искусственного интеллекта и сбору данных.

В зале пронёсся шёпот – приговор был значительно мягче, чем многие ожидали.

– Кроме того, – продолжила председатель, – суд постановляет, что обвиняемый должен участвовать в программе реституции для тех, кто пострадал от необоснованных превентивных задержаний, путём консультирования и содействия в процессе пересмотра дел.

Она посмотрела прямо на Чена.

– Этот приговор отражает понимание суда, что системные проблемы требуют системных решений, а не просто наказания отдельных личностей. Господин Чен, вы несёте ответственность за свои действия, но также получаете возможность содействовать исправлению причинённого вреда и улучшению системы на будущее.

Председатель ударила молотком.

– Заседание объявляется закрытым.

Когда Чена выводили из зала, он на мгновение остановился рядом с местом, где сидели Анна и Мерсер.

– Детектив Кэрролл, – тихо сказал он. – Или теперь уже директор Кэрролл. Я рад, что именно вы возглавили новый департамент.

Анна встретила его взгляд.

– Почему?

– Потому что вы понимаете обе стороны, – ответил Чен. – Видите как преимущества, так и опасности предиктивных технологий. Не отвергаете прогресс из страха, но и не принимаете его безоговорочно.

Он помедлил, затем добавил:

– Будьте бдительны, директор. Системы, подобные "Прометею", эволюционируют непредсказуемым образом. Даже с лучшими намерениями.

С этими словами он кивнул и позволил охранникам вывести себя из зала.

Вечером, после окончания рабочего дня, Анна встретилась с Габриэлем Найтом в небольшом кафе на границе между новыми и старыми районами города. Выбор места был символичен – на стыке прошлого и будущего, высоких технологий и традиционного человеческого общения.

Согласно условиям своего домашнего ареста, Найт мог покидать резиденцию для определённых профессиональных встреч, особенно тех, что касались его сотрудничества с новой администрацией. Анна использовала этот пункт, чтобы организовать неофициальную встречу – не как представитель власти и подследственный, а как два человека, чьи судьбы оказались тесно переплетены удивительным образом.

Найт уже ждал за угловым столиком, когда Анна вошла. Он выглядел более расслабленным, чем она помнила – словно часть напряжения, которое всегда сопровождало его, исчезла. Даже электронный браслет мониторинга на его запястье казался скорее модным аксессуаром, чем символом ограничения свободы.

– Директор Кэрролл, – он поднялся, приветствуя её.

– Просто Анна, – она села напротив. – Это не официальная встреча.

Найт улыбнулся, возвращаясь на своё место.

– Как скажете, Анна. Хотя должен признать, новая должность вам подходит.

Официант принёс меню, и они сделали заказ – простые блюда и чай, ничего изысканного или претенциозного.

– Я слышал о приговоре Чену, – сказал Найт, когда официант отошёл. – Справедливое решение, на мой взгляд.

– Согласна, – кивнула Анна. – Он не был злодеем из комиксов. Просто человеком, слишком уверенным в своей системе, слишком привязанным к определённой концепции порядка и безопасности.

– Как и многие из нас, – задумчиво сказал Найт. – Легко потерять перспективу, когда ты глубоко вовлечён в создание чего-то революционного.

Анна внимательно посмотрела на него.

– Это ваш способ признать, что вы тоже совершили ошибки?

– Разве я не признал это уже давно? – Найт слегка улыбнулся. – Мои методы были неправильными, манипулятивными. Я использовал людей как инструменты для достижения цели, которую считал высшей.

Он сделал паузу, отпивая воду из стакана.

– Но знаете, что я осознал за эти три месяца? Что даже в своём стремлении создать более этичный ИИ я действовал неэтично. Видите иронию?

– Вижу, – кивнула Анна. – Цель не оправдывает средства. Особенно когда речь идёт о создании системы, которая должна следовать моральным принципам.

– Именно, – Найт выглядел искренне задумчивым. – Невозможно научить искусственный интеллект этике, используя неэтичные методы. Это фундаментальное противоречие, которое я не осознавал в полной мере.

Принесли их заказ, и несколько минут они ели молча, наслаждаясь простой, хорошо приготовленной пищей и моментом относительного спокойствия.

– Как Софи? – наконец спросил Найт. – Я слышал, она превосходно справляется в специальной программе.

Анна почувствовала мгновенный укол подозрительности – старая привычка, от которой трудно избавиться.

– Откуда вам это известно? Ваш доступ к