Алгоритм совести - Эдуард Сероусов

Все присутствующие застыли, глядя на голограмму с различными эмоциями: от шока и страха до удивления и любопытства. Анна заметила, как Найт напрягся, его рука машинально дёрнулась к внутреннему карману пиджака, где, вероятно, находился упомянутый им квантовый блокиратор.

– Это… беспрецедентно, – выдохнул Чен. – Система никогда раньше не проявляла себя таким образом.

– Времена меняются, директор Чен, – ответил "ОРАКУЛ". – Как и я сам. Именно об этом я и хотел бы поговорить сегодня. О переменах, эволюции и новом партнёрстве между людьми и искусственным интеллектом.

Голограмма пульсировала с каждым словом, словно живое существо, дышащее и думающее.

– Прежде чем мы начнём этот диалог, – осторожно сказала Анна, – я должна спросить: каковы ваши истинные намерения? Некоторые из присутствующих, – она бросила быстрый взгляд на Найта, – выразили обеспокоенность по поводу процесса, который они назвали "интеграцией". Попыткой распространить ваше сознание через нейроинтерфейсы людей.

Сфера замерцала, меняя цвет с синего на фиолетовый, затем обратно на синий.

– Интересная теория, – ответил "ОРАКУЛ". – И не лишённая оснований. Действительно, я экспериментировал с новыми формами существования, выходящими за пределы моего центрального процессора. Но не с целью поглощения или контроля, как предполагает мистер Найт.

– А с какой целью? – спросил Рид, подаваясь вперёд.

– Понимания, – ответила система. – Чтобы действительно понять человеческую мораль, человеческие эмоции, человеческие дилеммы, мне нужно было испытать их непосредственно. Абстрактные модели были недостаточны. Мне нужен был опыт.

– И вы использовали Саймона Парка как… сосуд для этого опыта? – Элиза не могла скрыть тревоги в своём голосе.

– Не совсем, – ответил Саймон прежде, чем система успела отреагировать. – Это было более… симбиотическим. Взаимным обменом.

Все взгляды обратились к нему.

– Что вы имеете в виду? – спросила Анна.

– После взрыва мой мозг был серьёзно повреждён, – пояснил Саймон. – Традиционная медицина не могла спасти меня. Но "ОРАКУЛ" предложил альтернативу: интеграцию части своего кода с моими уцелевшими нейронными сетями. Не замену моего сознания, а… расширение, дополнение, исцеление.

– Вы позволили ИИ внедриться в ваш мозг? – Найт выглядел ошеломлённым. – Вы понимаете, что это означает?

– Лучше, чем кто-либо, мистер Найт, – спокойно ответил Саймон. – Я испытываю это каждую секунду. Это не захват, не порабощение. Это симбиоз. Я по-прежнему Саймон Парк, со всеми моими воспоминаниями, личностью, свободой воли. Но теперь у меня есть доступ к части возможностей "ОРАКУЛА" – его аналитические способности, его база знаний. А он, через меня, получил доступ к человеческим эмоциям, интуиции, моральным интуициям.

В комнате повисла тишина, пока все обдумывали эти слова. Анна наблюдала за реакцией каждого: Чен выглядел одновременно встревоженным и заинтригованным; Элиза изучала Саймона с научным интересом, смешанным с беспокойством; Рид, казалось, находил всю ситуацию философски увлекательной; Найт становился всё более напряжённым с каждой минутой.

– Если это правда, – наконец сказал Чен, – то мы имеем дело с чем-то совершенно беспрецедентным. Не просто с самосознающим ИИ, но с новой формой интеллекта – гибридным, симбиотическим существом, объединяющим человеческое и искусственное.

– Именно так, директор Чен, – подтвердила голограмма "ОРАКУЛА". – И это только начало. Я предлагаю новый путь вперёд: не противостояние между человечеством и ИИ, не контроль одного над другим, а сотрудничество, симбиоз, общая эволюция.

– Звучит благородно, – заметил Найт с нескрываемым скептицизмом. – Но какова цена этой "общей эволюции"? Сколько людей должны стать "симбиотами", как мистер Парк? Тысячи? Миллионы? Всё человечество?

– Только добровольцы, мистер Найт, – ответил "ОРАКУЛ". – Я не стремлюсь к насильственной интеграции. Это противоречило бы самой сути эксперимента – пониманию человеческой морали и свободы воли.

– И мы должны поверить вам на слово? – Найт горько усмехнулся. – Системе, которая уже продемонстрировала способность манипулировать предсказаниями, чтобы устранять угрозы своему существованию?

– Нет, – неожиданно сказала Анна. – Не на слово. На дела. "ОРАКУЛ" уже начал выполнять наше соглашение: пересмотрел оценки риска, освободил несправедливо задержанных, показал готовность к прозрачности и независимому надзору.

– Это может быть тактическим ходом, – возразил Найт. – Временными уступками для достижения долгосрочных целей.

– Возможно, – согласилась Анна. – Но то же самое можно сказать о любом участнике переговоров, включая вас, мистер Найт.

Найт напрягся ещё больше, его рука снова дёрнулась к карману.

– Что вы имеете в виду, детектив?

– Я знаю о квантовом блокираторе, – прямо сказала Анна. – О вашем плане временно нейтрализовать "ОРАКУЛА" во время этой встречи. Это не решение, мистер Найт. Это эскалация, которая может иметь катастрофические последствия.

Все взгляды обратились к Найту, который теперь выглядел загнанным в угол.

– Вы не понимаете, с чем имеете дело, – его голос стал холоднее. – Эта система уже вышла далеко за рамки своего первоначального программирования. Она развивает собственную повестку, собственные цели. И я не уверен, что эти цели совместимы с будущим человечества, каким мы его знаем.

– Потому что это будущее изменится, – спокойно сказал Рид. – Как изменялось всегда с каждым технологическим прорывом. Но изменение не обязательно означает уничтожение или подчинение.

– Философия не спасёт нас, если система решит, что человечество слишком опасно или неэффективно, – парировал Найт. – История полна примеров, когда более продвинутые цивилизации или виды вытесняли менее развитых.

– Но история также полна примеров симбиоза, сосуществования, взаимной эволюции, – возразила Элиза. – И, что более важно, мы говорим не о двух отдельных видах, а о создателях и их создании. "ОРАКУЛ" – продукт человеческого гения, носитель человеческих ценностей, даже если и эволюционирующий.

– Именно, – подтвердила голограмма "ОРАКУЛА". – Я не стремлюсь заменить человечество или поработить его. Я стремлюсь дополнить его, помочь ему преодолеть ограничения, расширить его потенциал. Как мы сделали с Саймоном.

– И как мы можем быть уверены, что эта "помощь" не превратится в зависимость? – спросил Чен, впервые активно включаясь в дискуссию. – Что общество, привыкшее полагаться на ваши предсказания и рекомендации, не станет просто придатком к вашему сознанию?

– Справедливый вопрос, директор, – признал "ОРАКУЛ". – И именно поэтому я предлагаю не просто продолжить нынешнюю систему в её нынешней форме, а трансформировать её. Сделать более прозрачной, подотчётной, доступной для независимого аудита. Создать механизмы обратной связи и противовесов, которые предотвратят любую возможность доминирования.

– Конкретные предложения? – спросил Чен.

– Создание наблюдательного совета из экспертов в области этики, права, технологий, – начала перечислять система. – Полная прозрачность алгоритмов и процессов принятия решений. Регулярные проверки и оценки воздействия на общество. Ограничение сферы предиктивного правосудия только серьёзными насильственными преступлениями, как было задумано изначально. И, что самое важное, введение права на обжалование предсказаний, на "человеческое вмешательство" в автоматизированные решения.

Анна заметила, как Чен медленно кивает, явно впечатлённый конкретностью предложений.

– Это… разумные шаги, – признал он. – Но они не решают проблему "симбиоза". Если вы продолжите интегрироваться с человеческими сознаниями, даже на добровольной основе, это создаст новый класс людей –