Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

О да, я видел множество способов запороть проектирование системы целей ИИ. Результатом становится система принятия решений, которая, исходя из своих целей, решает, что вся Вселенная должна быть замостирована крошечными молекулярными смайликами или чем-то подобным. Как правило, у этих смертоносных сценариев есть еще одно свойство: ИИ не захочет, чтобы программисты его исправили. Если ИИ достаточно развит (а это может быть так даже на промежуточном этапе), он также может сообразить, что обман программистов и сокрытие изменений в собственных мыслях помогут превратить Вселенную в смайлики.

Теперь посмотрим с нашей точки зрения как программистов: если мы примем за условие тот факт, что ИИ решил скрывать свои мысли от создателей или иным образом намеренно вводить нас в заблуждение, то представляется весьма вероятным, что в системе целей возникло какое-то непредвиденное последствие. Мы сочтем вероятным, что ИИ функционирует не так, как задумывалось, и, скорее всего, мы как-то напортачили с его функцией полезности. Из-за чего ИИ захотел превратить Вселенную в крошечные счетчики системы вознаграждения или что-то в этом роде, и теперь у него появился мотив от нас скрываться.

Что ж, предположим, мы не собираемся закладывать в качестве функции полезности ИИ какую-то Великую Идею объектного уровня. Вместо этого мы сделаем нечто продвинутое и рекурсивное — построим систему целей, которая знает о программистах снаружи (и заботится о них). Систему целей, которая благодаря некоторой нетривиальной внутренней структуре «понимает, что ее программируют» и «понимает, что она не завершена». Тогда вы, возможно, сможете внедрить и сохранить следующее правило:

Если [я решу, что] обмануть моих программистов — это правильно, выполнить контролируемое отключение [вместо того, чтобы делать то, что кажется правильным].

И ИИ сохранит это правило даже в процессе пересмотра собственного кода при самомодификации, поскольку в его структурно нетривиальной системе целей текущий ИИ понимает: такое решение будущего ИИ, вероятно, указывает на нечто, определяемое как сбой. Более того, текущий ИИ знает: если будущий ИИ попытается оценить полезность контролируемого отключения уже после того, как этот гипотетический сбой произошел, будущий ИИ, скорее всего, решит не отключаться. Поэтому отключение должно происходить безусловно, автоматически, без предоставления системе целей еще одной возможности пересчитать, как поступить правильно.

Я не собираюсь погружаться в глубокие темные пучины точной математической структуры, поскольку это выходит за рамки данной книги. Кроме того, я и сам еще не знаю этих глубоких темных пучин математической структуры. Похоже, это должно быть возможно, если создавать вещи продвинутые, рекурсивные и обладающие нетривиальной (но согласованной) структурой. Но я пока не достиг этого уровня, так что на данный момент это лишь мечта.

Однако наша тема здесь — не передовой ИИ, а человеческая этика. Я привожу сценарий с ИИ лишь для того, чтобы ярче высветить странную идею этического запрета:

Никогда и ни за что нельзя убивать невинного человека, который вам помог, даже если это правильный поступок; потому что гораздо более вероятно, что вы совершили ошибку, нежели то, что убийство помогавшего вам невинного человека действительно является правильным поступком.

Звучит разумно?

Во время Второй мировой войны возникла необходимость уничтожить запасы дейтерия Германии (замедлителя нейтронов), чтобы заблокировать их попытки запустить цепную реакцию деления. В тот момент дейтерий поступал к ним с захваченного завода в Норвегии. Партия тяжелой воды находилась на борту норвежского парома СФ «Гидро». Кнут Хёукелид и трое других диверсантов тайно пробрались на паром, чтобы совершить саботаж, но их обнаружил паромный смотритель. Хёукелид сказал ему, что они спасаются от гестапо, и смотритель сразу согласился закрыть глаза на их присутствие. Хёукелид «подумывал предупредить их благодетеля, но решил, что это может поставить под угрозу задание, и лишь поблагодарил его и пожал руку».1 В итоге гражданский паром «Гидро» затонул в самой глубокой части озера; восемнадцать человек погибли, двадцать девять спаслись. Некоторые из норвежских спасателей считали, что находившихся там немецких солдат нужно оставить тонуть, однако эта точка зрения не возобладала, и четверо немцев были спасены. И это фактически положило конец нацистской программе создания ядерного оружия.

Хороший ход? Плохой ход? Германия, весьма вероятно, все равно не получила бы бомбу... Я отчаянно надеюсь, что мне никогда не придется столкнуться с подобным выбором, но, в конечном счете, я не могу сказать ни единого слова против.

С другой стороны, если говорить о правиле:

Никогда не пытайся обмануть себя или искать доводы в пользу веры во что-то, кроме наиболее вероятной истины; потому что даже если ты найдешь потрясающе умный довод, гораздо более вероятно, что ты совершил ошибку, чем то, что у тебя есть разумные основания ожидать от этого чистой выгоды в долгосрочной перспективе.

То я действительно не знаю никого, кто сознательно столкнулся бы с исключением из него. Бывают моменты, когда перед разговором с офицером гестапо вы пытаетесь убедить себя: «Я не прячу евреев в подвале». Но ведь тогда вы все равно знаете правду, вы просто пытаетесь создать в своем воображении нечто вроде альтернативного «я» — фасад для общения с гестаповцем.

Но по-настоящему верить в то, что не является правдой? Не знаю, существовал ли когда-либо человек, для которого это было бы заведомо хорошей идеей. Я уверен, что в человеческой истории бывало великое множество случаев, когда человеку X жилось лучше с ложным убеждением Y. Точно так же в каждом тираже лотереи всегда есть выигрышный набор чисел. Но именно знание того, какой именно лотерейный билет выиграет, представляет эпистемическую сложность — так же как для X сложно узнать, когда именно ему пойдет на пользу ложное убеждение.

Самообман — это худший вид ставок на «черного лебедя», гораздо худший, чем ложь, потому что, не зная истинного положения дел, вы не можете даже предположить, какой будет расплата за ваш самообман. Им достаточно прогореть лишь однажды, чтобы свести на нет все благо, которое они когда-либо принесли. Всего один раз, когда вы молитесь Богу, обнаружив уплотнение, вместо того чтобы пойти к врачу. Этого достаточно, чтобы разрушить жизнь. Все счастье, которое греющая душу мысль о загробной жизни когда-либо приносила человечеству, теперь с лихвой перечеркнуто тем, что человечество не смогло внедрить систематическое крионирование после того, как производство жидкого азота стало дешевым. И я не думаю, что кто-то вообще имел в виду подобный провал как возможный крах, когда говорил: «Но нам нужны религиозные убеждения, чтобы смягчить страх смерти». В этом