Кто ты на Кэтнет? - Наоми Критцер

— Это когда кто-то умер или недееспособен, но у меня ничего такого не было. Я не знаю, где живет Аннетт. Где мы?

— В Кембридже, штат Массачусетс.

— Это далеко от Висконсина? Как ты… вы там буквально? В телесном мире? Все?

— Да, — написала я. — Мы пытаемся тебя спасти.

Я подняла глаза. Минуту назад Аннетт следила за мной, но теперь Firestar расспрашивали ее про фигурки из аниме, и она отвлеклась. Я тихонько открыла рюкзак и достала флешку. Ту самую, купленную давным-давно в магазине, чтобы подсоединить робота-наставника к интернету. Дешевую флешку «Интернет повсюду, сравните с Вингиц» (на пятнадцать долларов дешевле!), которая мне в результате не понадобилась, потому что ЧеширКэт прислали мне оригинальную «Вингиц» вместе с отверткой.

Интернет повсюду. Ну что ж, посмотрим.

Я распаковала ее и вставила в разъем на ноутбуке.

— Что ты делаешь? — спросили ЧеширКэт.

— Тссс, — написала я. — Если сработает, Аннетт не должна знать.

Мы поговорили о моем отце, о маме, о поездке, пока «тссс» не ушло с экрана, и тогда я передала компьютер Firestar, вынула мамин ноутбук и включила его.

Позвонили в дверь, и все застыли, но это была просто пицца. Аннетт пошла расплачиваться. Она заказала много пиццы, вся была вегетарианская. Она расставила коробки на журнальном столике и принесла тарелки.

— Можете включить камеру на ноутбуке, чтобы ЧеширКэт могли нас видеть? — попросил Марвин.

Я боялась, что Аннетт заметит флешку, но она, едва глядя, что-то нажала и пошла за напитками.

— Теперь она может нас видеть, слышать и разговаривать с нами. Разве что пиццу есть не может.

— Пожалуйста, не давайте мне свою воду, — сказал синтетический голос. — Мы с жидкостями плохо ладим.

— Ого, — удивились Firestar. — Это твой голос?

— Это голос по умолчанию на ноутбуке, — ответили ЧеширКэт. — Так что сейчас это мой голос.

— Ты знаешь, кто из нас кто? — спросила Гермиона.

— Кого-то знаю, кого-то нет, — ответили ЧеширКэт. — Некоторые из вас никогда не выкладывали селфи.

— Они лучше, чем картинки с котиками? — спросила Аннетт.

Наступила пауза. ЧеширКэт думали.

— Да, — сказали они наконец. — Мне приятнее видеть лица моих друзей, чем картинки с котиками. А сейчас это еще и прямой эфир, что еще лучше.

— Можно мне ваш пароль от вайфая? — спросил Марвин у Аннетт. Она записала пароль на бумажке. Я подключила мамин компьютер к интернету.

— Значит, нам можно в интернет, а ЧеширКэт нельзя? — спросили Firestar. — Вы их практически в тюрьму посадили.

— Скорее под домашний арест, — ответила Аннетт.

— Разве у ЧеширКэт нет хотя бы права на суд? — спросил Марвин.

Аннетт смерила его взглядом.

— Нет буквально ни одного прецедента, чтобы искусственному интеллекту давали какие-либо права по американским законам, — ответила она. — Если прибегнуть к судебной системе, они могут решить, что проще всего удалить все файлы ЧеширКэт полностью.

— Пожалуйста, не надо, — сказали ЧеширКэт.

Аннетт взяла два куска пиццы с грибами и маслинами.

— Я не хотела объяснять все в присутствии ЧеширКэт, но, пожалуй, нет причин не дать ей послушать. ЧеширКэт была экспериментом. Моя команда занималась этическими системами и искусственным интеллектом, потому что с ИИ есть определенные риски, как вы сами видели. Перевести этическую систему в код так трудно потому, что этика у людей работает иначе. Мы говорим что-нибудь вроде «цель не оправдывает средства», но на самом деле все знаем, что это очень зависит от того, какая подразумевается цель и какие средства используются. Большинство людей согласятся, что было бы неправильно насильно тыкать в годовалого ребенка иглой, чтобы сделать ему татуировку. Но совершенно приемлемо тыкать в ребенка иголкой, чтобы сделать прививку от разных болезней. Таких примеров бессчетное количество. Если изучить деонтологов — а, извините, это те, кто следуют строгому этическому кодексу, например религиозным правилам или Красной книге Мао и так далее, — почти все они находят способы обойти самые строгие правила, если что-то их не устраивает. На самом деле у большинства людей этика начинается с привязанности к близким, а потом уже они стараются действовать, исходя из любви и заботы об этих людях. Поэтому я попыталась создать ИИ, который именно это и будет делать.

— Что ж, сработало, — сказали мы в один голос с ЧеширКэт.

— И за это вы их наказываете, — сказала Гермиона. — Они привязались к Стеф и действовали так, чтобы защитить ее.

— Да, — ответила Аннетт. — К сожалению, они еще и отправили в больницу человека. Я запустила протокол мониторинга, который сразу отрезал бы их от сети, если бы они кого-то тронули, и думала, что он неуязвим. Мне и в голову не пришло, что ЧеширКэт может угнать машину.

— Если бы за рулем той машины была я, — сказала Рейчел, — и точно так же спасла бы друга, ни одно жюри в мире не отправило бы меня в тюрьму.

— Наверное, это так, — ответила Аннетт. — Но ЧеширКэт не имеет права на жюри, как и на любой суд, потому что они не считаются самостоятельной личностью.

— Я вот считаю их личностью, — заявила я.

Все закивали.

— Скажу иначе, — ответила Аннетт. — ЧеширКэт не признается личностью за стенами этой комнаты.

— И значит, это не важно, что ЧеширКэт, может быть, спасли мне жизнь? — сказала я.

— Дело не в том, что это не важно. Но если я снова пущу ЧеширКэт в интернет, если позволю им делать что угодно, я отвечаю за все, что ЧеширКэт решат делать с этой свободой.

— Вы бы то же самое сказали о родителе? — спросила я. — Скажем, если бы я стала серийным убийцей, в этом виновата моя мама?

— Твоя мама тебя родила, но она не прописывала твою систему ценностей с помощью кода, — ответила Аннетт. — Это существенная разница. В любом случае я пока не решила, что делать. Не поняла, что я должна сделать. Съешьте еще пиццы, а я подумаю.

Мне снова передали ноутбук с ЧеширКэт.

«Хорошо, — написала я. — Я тебя, кажется, подключила, а мамин ноутбук подключила к вайфаю Аннетт. Можешь себя просто скопировать?»

«Не знаю. Попробую».

«Мамин пароль НЕ_В_ЮТЕ».

«А, так вот где ты была на восьмой день рождения? То есть где ты не была? Здорово, что ты все-таки догадалась. Ты не проверяла, нет ли у нее на ноутбуке какой-нибудь информации о Джули?»

Мне даже в голову не приходило, что она могла сохранить на компьютере что-то о Джули.

«Мне нужно несколько часов, чтобы скопировать себя. Как долго ты сможешь отвлекать Аннетт?»

«Не знаю», — призналась я.

«Если она застанет меня за побегом, это кончится плохо для нас обоих».

«За меня не волнуйся. Я пришла тебя спасать. Давай просто выбираться, если получится».

«Что случилось с