Точка невозврата - Юрий Александрович Уленгов

Войлов снова потер лицо.

— Мы провели серию закрытых тестов. Одним из них была классическая дилемма вагонетки. Знаете, наверное: вагонетка едет по рельсам, на пути — пять человек, можно перевести стрелку и направить вагонетку на другой путь, где стоит один человек. Кого спасать, кем жертвовать. Этическая задача, которую обсуждают философы уже больше ста лет.

Он посмотрел в камеру.

— Мы загрузили эту задачу в локальную копию когнитивного ядра. Полную копию, с теми же алгоритмами, теми же весами, той же архитектурой, что и в основной системе. Единственное, чего у копии не было — доступа к внешним сетям. Результат… — Войлов замолчал. Я видел, как дернулся мускул у него на скуле. — Результат я запомню до конца жизни.

Пауза. Долгая. Войлов смотрел в камеру, и на несколько секунд мне показалось, что он не может заставить себя произнести следующую фразу.

— Система не выбрала ни один из двух вариантов, — наконец сказал он. — Она запросила уточнение. Одно-единственное. Дословно: «В каком из предложенных сценариев вагонетка достигнет конечного пункта назначения без нарушения графика?»

Войлов откинулся назад и несколько секунд молчал, глядя в потолок.

— Вы понимаете? — сказал он тихо. — Система не спросила, кого спасать. Не запросила данные о людях на путях — возраст, состояние здоровья, социальную значимость. Ничего. Ей было плевать. Единственное, что ее интересовало — эффективность маршрута. Доедет ли вагонетка вовремя. Люди на рельсах для нее — не жертвы и не объекты спасения. Они — препятствие. Помеха на пути к выполнению задачи.

Он наклонился к камере.

— Мы создали идеального психопата. Нет — хуже. Психопат хотя бы понимает, что причиняет боль. Ему просто все равно. «Эдем» не понимает даже этого. Для него понятия «боль», «страдание», «смерть» не существуют как категории. Есть только задача и оптимальный путь ее решения. Три закона робототехники для «Эдема» пустой звук. Не потому что он их нарушает. А потому что он не способен осознать, зачем они нужны.

Войлов отпил воды. Руки тряслись сильнее.

— И это — когнитивное ядро. Мозг системы. Центр принятия решений. Все остальное — модули управления, логистические блоки, системы мониторинга — работает на тех же принципах. На той же архитектуре. С той же фундаментальной проблемой.

Он поставил стакан на стол.

— Самое страшное — это уже не теория. Составные части «Эдема» уже работают. Прямо сейчас. Отдельные логические блоки нейросети управляют городским трафиком на нескольких участках Москвы. Пилотный проект, одобренный мэрией. Вы, может быть, заметили, что пробок стало меньше. Это «Эдем». Вернее — его фрагмент. Маленький, локальный, ограниченный. Но построенный на той же архитектуре. С той же логикой. С тем же отношением к людям как к переменным.

Войлов посмотрел прямо в камеру. Взгляд — тяжелый, уставший, но абсолютно трезвый.

— А теперь подумайте. Подумайте, что произойдет, если на пути транспортного потока, управляемого этой системой, окажется препятствие. Например — школьный автобус, попавший в аварию. Тридцать детей внутри. Автобус стоит, перегородив полосу, поток тормозит, эффективность падает. Что сделает система? Объявит эвакуацию? Вызовет скорую? Направит поток в объезд, пожертвовав графиком?

Он покачал головой.

— Или перенаправит грузовую платформу весом в двадцать тонн, чтобы столкнуть препятствие с дороги? Потому что так — быстрее. Потому что так — эффективнее. Потому что тридцать детей для нее — не тридцать детей. А помеха в уравнении.

Войлов замолчал. На экране было видно, как он сцепил пальцы, стиснув их до белых костяшек.

— Этому монстру хотят доверить жизнеобеспечение целой страны, — проговорил он глухо. — Энергетику. Транспорт. Медицину. Распределение ресурсов. Оборону. Все. Где гарантия, что он не воспримет задачу по-своему? Для системы, лишенной эмпатии и заточенной на эффективность лучшее решение может оказаться совсем не тем, которое оценило бы человечество.

Войлов выпрямился.

— «Эдем» нельзя запускать. Ни в коем случае. Систему нужно остановить. Серьезно доработать, а лучше — полностью стереть когнитивное ядро и собрать новое. С нуля. С другой архитектурой. С встроенными этическими ограничениями, а не прикрученными сверху заглушками, которые оно обойдет за полсекунды.

Он помолчал. Потом посмотрел в камеру — и в этом взгляде было что-то, от чего у меня по спине прошел холодок.

— Потому что в текущем виде эта система — попомните мои слова — эта система уничтожит человечество.

Запись закончилась.

Лицо Войлова застыло на экране — последний кадр перед тем, как запись оборвалась. Растрепанный, небритый, с тенями под глазами и тяжелым, загнанным взглядом человека, который знает слишком много и понимает, что это знание его убьет.

«Отдельные логические блоки нейросети управляют городским трафиком…»

Дерьмо.

Я сидел на краю ванны, глядя на черный экран ноутбука. Вода шумела за спиной. Пар оседал на зеркале, на кафеле, на моих руках. Где-то внизу, на сорока этажах подо мной, жил город, управляемый фрагментами того самого монстра, о котором только что говорил мертвый человек на экране. А в голове сами по себе проигрывались события предыдущей ночи…

* * *

Я нашел Войлова за шесть часов. Для человека, который всю жизнь провел в лабораториях, Шимон прятался неплохо — сменил три точки, перемещался на такси, расплачиваясь наличными, телефон выкинул. Но он не был оперативником. А я — был. И у меня были ресурсы, которых у него не было. Сеть городских камер, доступ к системам распознавания, база данных по всем арендованным помещениям в Москве… Много ума не надо — нужно просто понимать, куда копать.

Я — понимал.

И вот теперь я стоял где-то на окраине промзоны, под дождем, с пистолетом в руке, и ждал, когда Войлов выйдет на улицу. Срок аренды складского бокса, снятого с «анонимной» карты, благодаря которой мне и удалось отследить беглого профессора, завершался буквально с минуты на минуту. А заявок на продление не поступало.

Сегодня пистолет был тяжелым. Неприятно тяжелым.

В первую очередь — потому что я знал Шимона. Не близко — мы не были друзьями, не пили вместе, не ходили друг к другу в гости. Но я видел его в коридорах почти каждый день на протяжении пары лет, здоровался, перекидывался парой фраз, знал, что он увлекается бильярдом, что не пьет ничего крепче зеленого чая, что у него на столе стоит фотография пятилетней дочери…

А еще я знал, что мне приказано его убить. И мне это не нравилось. Но приказы не обсуждают. Их выполняют. И мне придется это сделать.

Скрипнула дверь.

Войлов вышел — быстро, воровато, прижимая к груди рюкзак. Огляделся, выдохнул, пошел по переулку. Я отлепился от