Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«Не вари козленка в молоке матери его». Тот, кто помогает тебе из альтруизма, не должен жалеть о своей помощи; ты должен ему не столько верность, сколько то, чтобы, помогая тебе, он действительно совершал именно то дело, которое, как он думает, он совершает.

«Ну хорошо, но как Брайан Аткинс узнает об этом, если я ему не скажу?» Элиезер-2000 даже не думает об этом иначе как в кавычках, как об очевидной мысли, которая пришла бы в голову злодею в подобной ситуации. И у Элиезера-2000 наготове стандартная контрмысль, оберег от соблазна нечестности — аргумент, обосновывающий честность с точки зрения ожидаемой полезности, а не просто личной любви к личной добродетели:

Люди не умеют обманывать безупречно; скорее всего, меня разоблачат. Или что, если до Сингулярности, где-то в ближайшие тридцать лет, изобретут настоящие детекторы лжи? Я не смогу пройти проверку на детекторе.

Элиезер-2000 живет по правилу, что нужно всегда быть готовым к тому, что твои мысли в любой момент будут транслироваться на весь мир, и не испытывать при этом неловкости. Иначе ты, очевидно, лишился благодати: либо ты думаешь о том, о чём думать не следует, либо стыдишься того, что не должно вызывать стыда.

(Сегодня я уже не разделяю столь экстремальную точку зрения, главным образом из соображений Теории Веселья. Я вижу пользу в продолжении социального соперничества между разумными формами жизни, по крайней мере, насколько простирается моё видение ближайшего будущего. Сейчас я признаю, что для людей, возможно, вполне нормально иметь собственное «я»; как выразился Джон Маккарти: «Если бы все постоянно жили ради других, жизнь была бы похожа на процессию муравьев, бегущих друг за другом по кругу». Если уж у тебя есть «я», то вполне логично иметь и секреты, и, возможно, даже заговоры. Но я всё же стараюсь придерживаться принципа готовности пройти в будущем тест на детекторе лжи вместе с любым другим человеком, который также готов подвергнуться проверке на детекторе, если речь идёт о профессиональных вопросах. Теории Веселья требуется здравое исключение для управления глобальными катастрофическими рисками.)

Даже если принять честность как данность, у Элиезера-2000 нашлись бы другие отговорки, чтобы спустить этот вопрос в унитаз. «У мира нет времени» или «Это нерешаемо» вполне бы подошли. Но Элиезер-2000 не знает, что эта проблема — проблема «резервной» морали — окажется особенно трудной или потребует много времени. Он только сейчас впервые задумался над этой проблемой.

И вот Элиезер-2000 начинает всерьез обдумывать этот вопрос: допустим, «жизнь бессмысленна» (то есть сверхразум не выводит собственные мотивы из чистой логики), как тогда задать резервную мораль? Как её синтезировать, как вписать в ИИ?

На тот момент Элиезер-2000 многого не знает. Но он всё-таки размышлял о самосовершенствующемся ИИ в течение трех лет, а Традиционным Рационалистом является и того дольше. Он действительно практиковал определенные техники рациональности и уже выработал методологические предохранители. Он уже достаточно умен, чтобы не думать, будто всё, что нужно ИИ, — это Один Великий Моральный Принцип. Элиезер-2000 уже знает, что мудрее мыслить технологически, а не политически. Он уже знает изречение о том, что программисты ИИ должны мыслить кодом и использовать концепты, которые можно вписать в компьютер. У Элиезера-2000 уже есть представление о том, что существует так называемое «техническое мышление», и что это хорошо, хотя он ещё не сформулировал его байесовское видение. И он давно заметил, что LISP-символы с говорящими именами на самом деле ничего не значат, и так далее. Эти установки не дают ему попасть в некоторые из начальных ловушек — тех самых, которые, как я видел, губили других новичков на их самых первых шагах в проблеме Дружественного ИИ... хотя, строго говоря, это был мой второй шаг; на первом я с треском провалился.

Но в конечном счёте всё сводится к следующему: Элиезер-2000 впервые пытается технически осмыслить, как вписать мораль в ИИ, не оставляя себе лазейки в виде «таинственной сути правильности».

В конце концов, только это и имеет значение. Его прежнего философствования было недостаточно, чтобы заставить его мозг столкнуться с деталями лицом к лицу. Этот новый стандарт достаточно строг, чтобы потребовать реальной работы. Мораль постепенно начинает казаться ему менее таинственной — Элиезер-2000 начинает думать внутри чёрного ящика.

Его причины поступать именно так — они не имеют вообще никакого значения.

О, в его перфекционизме кроется урок. Кроется урок и в том, как Элиезер-2000 поначалу счёл это крошечным изъяном и мог бы просто выбросить его из головы, поддавшись первому порыву.

Но в итоге причинно-следственная связь выглядит так: Элиезер-2000 исследовал вопрос подробнее, а потому с практикой стал справляться лучше. Действия экранируют оправдания. Если твои аргументы оправдывают нежелание вникать в детали, как у Элиезера-1996, то ты так и не научишься хорошо думать над проблемой. Если же твои аргументы требуют от тебя детальной проработки, тогда у тебя появляется возможность начать накапливать опыт.

В конечном счёте важен был только этот выбор — а вовсе не причины что-либо делать.

Я говорю всё это, как вы легко можете догадаться, из-за тех, кто мнит себя создателями ИИ, с которыми я порой сталкиваюсь — у них всегда находятся свои хитрые причины не думать над проблемой Дружественного ИИ. Для Природы наши хитрые оправдания собственных действий обычно значат гораздо меньше, чем для нас самих и наших друзей. Если ваши действия не выглядят достойно, будучи лишенными всех оправданий и представленными как голые факты... возможно, вам стоит пересмотреть их.

Прилежные усилия не всегда спасают человека. Существует и такая вещь, как нехватка способностей. Но даже в этом случае: если вы не пытаетесь или пытаетесь вполсилы, у вас нет ни единого шанса сесть за стол с высокими ставками — не говоря уже о обязательной ставке в виде способностей. Вот вам и причинно-следственная связь.

Кроме того, перфекционизм действительно важен. Конец света не всегда наступает под трубный глас и раскаты грома, помеченный наивысшим приоритетом в вашем почтовом ящике. Иногда ошеломляющая истина впервые предстает перед вами в виде крошечного, совсем крохотного вопроса; одной фальшивой ноты; одной маленькой одинокой мысли, которую можно отбросить легким, непринужденным движением...

...и так, в течение последующих лет, к Элиезеру из прошлого медленно начинает приходить понимание. То Солнце всходило медленнее, чем могло бы.

*

298. Арьергардные бои против истины.

Когда мы расстались с Элиезером