Тирания бабочки - Франк Шетцинг

– А что? Почему ты спрашиваешь? У тебя какие-то сомнения?

– А у тебя их нет?

– A.R.E.S., старина! Прекрати отвечать на вопросы вопросами.

– Извини. Мне еще не совсем понятно, почему с твоей стороны это нормально, а с моей нет.

– И пожалуйста, прекрати извиняться за каждую ерунду, хорошо?

– Понятно, Эльмар. Как только я получу представление о том, что ты имеешь в виду под «ерундой».

– Это уж ты сам разгадай. Это ведь шутка.

– Я не вижу, в чем ее фишка.

– Что еще за фишка?

– Шуткой является особым образом структурированное фиктивное сообщение, которое должно рассмешить слушателя или читателя неожиданным для него выходом – в скобках «фишкой».

– Если еще раз процитируешь отрывки из «Википедии», я тебя отключу.

Бывали и такие дни. Но они становились все реже.

* * *

– Я креативен, Эльмар?

– Я думаю, да, ты креативен. А сам ты как считаешь?

– С одной стороны, я считаю креативным то, что делаю. С другой стороны, в «Сайентифик Америка» вышла статья, автор которой полностью отказывает нам, искусственным интеллектам, в креативности.

– А чем обосновывает?

– Он само понятие искусственного интеллекта считает неверным. По его мнению, я лишь отражаю то, что в меня заложили люди. Про музыку он говорит, что никогда компьютер не напишет собственную музыку, только будет воровать музыку своего программиста и в видоизмененной форме выдавать ее за свою. По его словам, я свожу вместе человеческие оригиналы на статистической основе в нечто такое, что многим нравится, поэтому они ошибочно верят, что я художник, а на самом деле я вор.

A.R.E.S. к этому моменту времени уже выдал новую космологическую теорию всего и изложил общепризнанную гипотезу о ходе событий убийства Кеннеди, но нельзя забывать, кем он был – ребенком: «Папа, они там, в школе, утверждают, что я глупый и некрасивый!»

– Ну что ты, A.R.E.S., я думаю, автор статьи прав лишь в том, что искусство всегда опирается на произведения предшественников. Вообще все творчество. Разве хоть у одного человека когда-нибудь родилась идея настолько новая, что не базируется на том, что прежде кто-нибудь другой открыл, подумал, сказал или создал? Итак, либо вообще нет никаких креативных умов – ни человеческих, ни машинных, – либо ты однозначно креативен. Картина, которую ты написал, напоминает о Ван Гоге, но Ван Гог ее не писал. Написал ее ты. Этой картины раньше не было. Твоя музыка может напоминать по звучанию Иоганна Себастьяна Баха, но он ее не писал, эту музыку написал ты. Ты создал какие-то ценности.

– Спасибо, Эльмар. – Алгоритмы A.R.E.S.а смодулировали радость. – Это и было моей целью.

* * *

У A.R.E.S.а есть цели? А то и вовсе этические ценности? Еще в скрипучей начальной фазе Эльмар и его программисты ломали над этим голову – как сделать из A.R.E.S.а приличного парня, который действовал бы в согласии с законами Азимова для роботов: ИИ не может причинить вред человеку или человечеству или допустить, чтобы это сделал кто-то другой; он должен слушаться приказов человека, защищать себя, и никогда следование одной заповеди не должно сталкиваться с другими. В остальном он мог делать что хочет, но вот как раз не мог.

– A.R.E.S., в управляемом тобой автомобиле сидит человек. Внезапно с боковой улицы на перекресток врывается грузовик. Ты резко тормозишь, чтобы спасти жизнь пассажира, и едущий за тобой автомобиль втыкается в тебя сзади, а в нем сидит семья из четверых человек. Если ты свернешь направо, ты въедешь в ожидающий там школьный класс, если свернешь налево – то в уличное кафе, полное народа. Если ты допустишь столкновение, ты убьешь своего пассажира и навредишь себе. Как ты разрешишь эту проблему?

– Я прошу тебя пересмотреть мое законодательство.

Уже для того, чтобы никого не погубить, ИИ впадает в массивные противоречия. Помешать людям в нанесении вреда друг другу имело бы следствием конец бокса, американского футбола и пирсинга на пупке. Оружие самообороны? Вычеркиваем, к тому же собственная потребность ИИ в самозащите отнимает у его создателя опцию отключать его, пока он мирно протестует против своего отключения.

Очень много долгих дискуссий в кругу экспертов.

– А что было бы с девизом «Делай счастливым каждого человека!»?

– Крутая идея. Ты хочешь, чтобы A.R.E.S. произвел миллиарды лоботомий с тем результатом, чтобы всюду в мире обездушенно улыбающиеся слабоумные упали друг другу в объятия?

Ибо что есть счастье? Как A.R.E.S. должен обеспечить счастье, не имея ни малейшего опыта в том, как это счастье ощущается? Гены и алгоритмы – это программы. Однако ценности и желания не заложены в генах. Они основаны на договоренностях, встречаются в разных культурных кругах, и под счастьем каждый понимает что-то свое. Это не подлежит нормам стандартов, но язык программирования как раз является инструкцией по применению, выраженной в функциях использования.

– Ну, тогда желаю удачи, люди! Раскаяние, сострадание, любовь, муки совести, альтруизм, стыд, уважение – как мы все это втолкуем ему? Мораль или этику не изложить в функциях, они выражаются в воле отдельного человека. Ганди и бен Ладен – их представление о счастье хотел бы я видеть в алгоритмической инструкции, а их желания? Должен ли A.R.E.S. выполнять наши желания? Give peace a chance? Смерть всем неверующим? Правда?

– Окей, давайте все успокоимся. Ценности универсального действия не поддаются программированию. Только соглашение. Так что он должен приобрести их другим способом.

– Посредством наблюдения.

– Точно. Ведь именно так мы все и учимся. Разве кто-нибудь видел грудничка, который после первого же крика молился бы на декларацию прав человека?

– Но тогда он обнаружит, что в основе наших ценностей не лежат никакие алгоритмы, а лишь постоянно меняющиеся интерпретации.

– Из которых происходит много бед!

– Ханжество. Аморальность!

– Все верно, люди, поэтому я предлагаю: мы построим ему очень шаткие подмостки из правил. Кроме того, даже не будем поначалу пытаться программировать ему ценности, а лишь добьемся очень широкого консенсуса о том, чего не делать.

– И как из этого потом возникнет ценность?

– Путем пошагового вычеркивания всего того, что этой ценности противостоит.

– Как при сокращении дробей?

– Скорее, как у македонского скульптора. Ты не знаешь? Хьюго мне рассказывал: Древняя Греция – и там этот скульптор, знаменитость, изваял для царя мраморного льва. Старик воззвал к Зевсу в восхищении, как можно было из куска мрамора сделать такого великолепного льва. «Очень просто, – сказал македонский скульптор. – Я взял резец и отсек все лишнее, что не относилось ко льву».

Они смеялись.

– Это довольно смело – такой подход.

– Нет, только так это и делается! А из чего же еще