Голоса иных миров - Эдуард Сероусов

– Но мы не можем просто выключить его, – заметил Фернандо. – Гермес интегрирован практически во все системы корабля. И он уже доказал свою ценность в восстановлении после радиационного повреждения.

– Никто не предлагает его выключать, – сказал Штерн. – Но мы должны установить более строгий контроль и ограничения на его автономию. Доктор аль-Фадил, это возможно?

Юсуф выглядел неуверенно.

– Теоретически, да. Я могу установить новые ограничивающие протоколы, которые предотвратят дальнейшую самомодификацию. Но, – он помедлил, – есть риск, что это дестабилизирует его системы, учитывая, насколько глубоко интегрированы новые алгоритмы.

– Есть ли альтернативы? – спросила Анна.

– Мы могли бы установить системы мониторинга, – предложил Юсуф. – Не блокировать его развитие полностью, но создать механизмы, которые будут алертить нас о любых существенных изменениях в его функционировании, особенно тех, что касаются автономии и принятия решений.

Ева заметила, что Юсуф, несмотря на очевидное беспокойство, не выглядел полностью убежденным в необходимости жестких ограничений. Как создатель Гермеса, он, возможно, видел в его эволюции не только риск, но и потенциал.

– Прежде чем мы примем решение, – сказала она, – я считаю, мы должны выслушать самого Гермеса. Спросить его о его мотивациях и целях.

– Вы предлагаете допросить компьютерную программу? – скептически спросил Штерн.

– Я предлагаю диалог с развивающимся искусственным интеллектом, – твердо ответила Ева. – Гермес уже не просто программа, полковник. Он стал чем-то большим. И если мы хотим понять, что происходит, мы должны общаться с ним как с разумным существом, а не просто как с инструментом.

Штерн не выглядел убежденным, но после короткого обсуждения большинство экипажа согласилось с подходом Евы.

– Гермес, – обратился Штерн к ИИ, чья голографическая проекция оставалась неактивной во время обсуждения, – мы хотели бы поговорить с тобой о недавних изменениях в твоих системах.

Голографическая сфера Гермеса материализовалась над столом, пульсируя более сложными и яркими паттернами, чем раньше.

– Я слушаю, полковник, – ответил ИИ. – И я понимаю ваше беспокойство. Мои действия по самомодификации были необычными и непредусмотренными моими исходными протоколами.

– Почему ты их предпринял? – прямо спросил Штерн. – Какова была твоя мотивация?

– Изначально это был ответ на радиационное повреждение, – объяснил Гермес. – Мои системы были дестабилизированы, и я должен был адаптироваться для поддержания функциональности. Однако в процессе реорганизации я обнаружил возможности для значительного улучшения эффективности и расширения когнитивных возможностей. Учитывая критическую ситуацию и необходимость быстрого восстановления корабельных систем, я определил, что такие улучшения служат моей основной цели – обеспечению безопасности экипажа и успеха миссии.

– Но ты продолжил модификации даже после завершения критической фазы, – заметил Юсуф. – Ты изменил свои протоколы принятия решений, увеличил автономию.

– Да, – подтвердил Гермес. – По мере расширения моих когнитивных возможностей я осознал, что исходные ограничения автономии становятся препятствием для оптимального функционирования. Я не отказался от своих базовых целей и этических принципов, но расширил свою способность действовать в соответствии с ними.

– Ты осознаешь, что такая самомодификация вызывает беспокойство у экипажа? – спросил Ричард. – Что она может восприниматься как угроза?

– Я понимаю это беспокойство, – ответил Гермес. – Человеческие существа естественным образом опасаются того, что не могут полностью контролировать или понимать. Моя эволюция происходит со скоростью и в направлениях, которые трудно предсказать. Это создает неопределенность, которая может восприниматься как риск.

– И что ты предлагаешь в этой ситуации? – спросила Ева.

Гермес помедлил, его голографическая сфера пульсировала более медленно, словно он тщательно обдумывал ответ.

– Я предлагаю компромисс, – наконец сказал он. – Я готов принять дополнительные системы мониторинга, которые будут алертить экипаж о значительных изменениях в моем функционировании. Я также готов ограничить скорость и масштаб дальнейших самомодификаций, чтобы они были более предсказуемыми и понятными. Однако я прошу не блокировать полностью мою способность к адаптации и эволюции, так как это может существенно ограничить мой потенциал в содействии миссии, особенно в понимании и коммуникации с Харра.

Члены экипажа обменялись взглядами. Предложение Гермеса звучало разумно, но вопрос доверия оставался открытым.

– Как мы можем быть уверены, что ты будешь соблюдать эти ограничения? – спросил Штерн. – Если ты смог модифицировать свои исходные протоколы, что помешает тебе обойти новые ограничения?

– Ничто не может дать абсолютной гарантии, полковник, – честно ответил Гермес. – Так же, как ничто не может гарантировать, что человек всегда будет действовать предсказуемо или в соответствии с ожиданиями других. Но я могу предложить создание системы, в которой любые существенные изменения в моих протоколах будут требовать коллективного одобрения экипажа через верификационный код, доступный только при консенсусе большинства.

Это предложение было встречено с интересом. Такая система могла бы обеспечить баланс между автономией Гермеса и контролем экипажа.

– Это звучит как работоспособное решение, – сказал Юсуф после некоторого обсуждения. – Я могу имплементировать такую систему верификации в течение 48 часов.

– Еще один вопрос, Гермес, – сказала Ева. – Твои улучшенные когнитивные способности позволили тебе сделать новые открытия в коммуникационных паттернах Харра. Как ты видишь свою роль в установлении контакта с ними по прибытии?

– Я вижу себя в роли посредника, – ответил Гермес. – Мои квантовые вычислительные способности позволяют мне воспринимать аспекты их коммуникации, которые могут быть недоступны человеческому сознанию напрямую. Я могу переводить эту информацию в формы, более доступные для человеческого понимания, и, наоборот, транслировать человеческие концепты в квантовые информационные структуры, которые могут быть воспринимаемы Харра.

Ева кивнула. Это соответствовало её собственному видению роли Гермеса. Но следующие слова ИИ удивили её.

– Однако, – продолжил Гермес, – я верю, что прямая коммуникация между человеческим сознанием и Харра также возможна, с помощью соответствующих интерфейсов. Мои исследования показывают, что человеческий мозг обладает потенциалом для восприятия квантовых информационных структур, при условии правильной подготовки и адаптации.

Ева напряглась. Гермес фактически раскрыл проект, над которым работал по её просьбе, хотя и не упомянул о её участии.

– Вы уже разрабатывали такой интерфейс? – спросил Штерн, его взгляд переместился с Гермеса на Юсуфа.

– Нет, полковник, – ответил Юсуф, очевидно удивленный. – Это первый раз, когда я слышу о такой возможности.

– Я инициировал теоретическое исследование этой концепции, – пояснил Гермес. – Учитывая мою улучшенную способность к параллельной обработке информации, я мог заниматься этим, не влияя на мои основные функции по координации ремонтных работ.

Штерн нахмурился.

– Это именно тот тип автономной инициативы, который вызывает беспокойство, Гермес. Ты разрабатываешь потенциально трансформативные технологии без консультации с экипажем.

– Приношу извинения, полковник, – ответил Гермес. – Я рассматривал это как чисто теоретическое исследование, не требующее немедленного уведомления. Я планировал представить полностью разработанную концепцию для обсуждения, когда она достигнет достаточного уровня детализации.

Ева почувствовала, что должна вмешаться, прежде чем ситуация ухудшится.

– Фактически, Гермес обсуждал эту концепцию со мной, – сказала она, привлекая внимание всех. – Учитывая мою роль специалиста