Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Или, выражаясь чуть менее парадоксально: нам следует искать ценности, определённые над 4D-состояниями, а не 3D-состояниями. То есть ценные непрерывные процессы, а не принцип «придай вселенной свойство P, и дело сделано».

Здесь уместно процитировать Тимоти Ферриса: чтобы обрести счастье, «вам следует спрашивать себя не „Чего я хочу?“ или „Каковы мои цели?“, а „Что меня зажигает?“»

Можно сказать, что для долгосрочного смысла жизни нам нужны игры, в которые весело играть, а не только выигрывать.

Заметьте — иногда вам действительно хочется победить. Существуют вполне оправданные цели, где победа — это всё. Если речь идёт, скажем, об излечении рака, то страдания хотя бы одного онкобольного перевешивают любое удовольствие, которое вы могли бы получить, решая эту задачу. Если вы двадцать лет трудитесь над созданием лекарства от рака собственными силами, приобретая новые знания и навыки, заводя друзей и союзников, — а затем какой-нибудь инопланетный сверхразум преподносит вам лекарство от рака на блюдечке с голубой каёмочкой за тридцать долларов, то вы просто затыкаетесь и берёте его.

Но «излечение рака» — это задача из разряда 3D-предикатов: вы хотите, чтобы предикат «рака нет» изменился с «Ложь» в настоящем на «Истина» в будущем. Важность этого пункта назначения намного превосходит сам путь; вы не хотите туда идти, вы просто хотите там быть. Существует много обоснованных целей такого рода, но они не годятся в качестве развлечения на долгий срок. «Победить рак!» — это достойное дело, которым нам стоит заниматься здесь и сейчас, но вряд ли оно может быть будущей целью галактических цивилизаций.

Почему этот «ценный непрерывный процесс» должен быть процессом попыток что-то делать — почему не процессом пассивного переживания опыта, подобно буддийскому раю?

Признаться, я не вполне уверен, как устроить разум, «пассивно переживающий опыт». Человеческий мозг был спроектирован для выполнения различных видов внутренней работы, которые в совокупности составляют активный интеллект. Даже если вы уляжетесь в постель и не будете прилагать особых усилий для размышлений, мысли, проносящиеся в вашей голове, — это деятельность областей мозга, предназначенных, ну, вы понимаете, для того, чтобы решать задачи.

Какую часть человеческого мозга можно было бы удалить, за исключением центров удовольствия, и всё ещё сохранить субъективное переживание удовольствия?

Эту тему я трогать не буду. Я остановлюсь на гораздо более простом ответе: «На самом деле я бы не предпочёл быть пассивным созерцателем». Если бы я действительно хотел нирваны, я бы, возможно, попытался разобраться, как достичь этого невозможного состояния. Но если отбросить слова Будды о том, что нирвана — это венец бытия, она кажется скорее чем-то из серии «звучит здорово, когда слышишь об этом впервые» или «идеологической верой в это желание», а не тем, чего бы мне действительно хотелось.

Причина, по которой у меня вообще есть разум, заключается в том, что естественный отбор создал меня, чтобы я действовал — решал определённые типы задач.

«Потому что такова человеческая природа» — это не строгое обоснование чего-либо. Существует человеческая природа — то, чем мы являемся; и существует природа человечная — то, какими мы, будучи людьми, хотели бы быть.

Но я не хочу менять свою природу в сторону превращения в пассивный объект — что и есть обоснование. Счастливый комок — это не то, чем я, будучи человеком, желаю стать.

Ранее я утверждал, что многие ценности требуют как субъективного счастья, так и внешних объектов этого счастья. Что у вас вполне обоснованно может быть функция полезности, которая гласит: «Для меня важно, является ли любимый человек настоящим человеческим существом или просто высокореалистичным не обладающим сознанием чат-ботом, даже если я об этом не знаю, потому что то, что я ценю, — это не моё собственное состояние ума, а внешняя реальность». Так что вам необходимы и переживание любви, и реальный любимый человек.

Точно так же у вас могут быть ценные занятия, требующие как настоящего вызова, так и настоящих усилий.

Когда вы мчитесь по трассе, важно, чтобы другие гонщики были настоящими и чтобы у вас был реальный шанс как победить, так и проиграть. (Речь здесь не о физическом детерминизме, а о том, предопределил ли какой-то внешний процесс оптимизации вашу победу в гонке явным образом.)

И важно, что вы бежите благодаря собственному умению бегать и собственной силе воли, а не просто нажимаете кнопку с надписью «Победа». (Хотя, поскольку вы не проектировали мышцы собственных ног, вы всё же бежите, используя силу, которая вам не принадлежит. Гонка между робомобилями — более чистое соперничество их создателей. Для улучшения человеческой природы ещё предостаточно возможностей.)

И важно, что вы, существо, обладающее сознанием, переживаете это сами. (А не какой-то не обладающий сознанием процесс выполняет схематичную имитацию гонки триллионы раз в секунду.)

Должны быть настоящее усилие, настоящая победа и настоящее переживание — путь, цель и сам путник.

*

278. Серьёзные истории.

Любая когда-либо созданная утопия — в философии, художественной литературе или религии — в той или иной степени оказывалась местом, где вы не захотели бы на самом деле жить. Я не одинок в этом важном наблюдении: Джордж Оруэлл утверждал практически то же самое в эссе «Почему социалисты не верят в веселье», и, полагаю, многие другие говорили об этом ещё раньше.

Если вы почитаете руководства о том, как писать книги — а подобных пособий существует целая куча, ведь, как ни странно, многие авторы считают, будто что-то смыслят в писательском деле, — в них вам обязательно скажут, что в сюжете должен быть «конфликт».

Точнее, о том, что истории строятся на «конфликте», вам расскажут более умеренные учебники. Но некоторые авторы выражаются куда прямолинейнее.

«Истории — о человеческой боли». Орсон Скотт Кард.

«Каждая сцена должна заканчиваться катастрофой». Джек Бикхем.

В пору своей юношеской глупости я принимал как должное, что авторы освобождены от поисков истинной Евтопии, ведь если создать утопию, которая не была бы ущербной... какие сюжеты можно в ней развернуть? «И жили они долго и счастливо». Какой смысл писателю-фантасту пытаться изобразить позитивный взрыв интеллекта, если этот самый позитивный взрыв интеллекта окажется...

...концом всех историй?

Это казалось вполне разумной основой для анализа литературной проблемы утопии, но сама эта концовка вызывала какое-то тихое, навязчивое сомнение.

В то время я представлял себе ИИ чем-то вроде безопасного джинна, исполняющего желания отдельных людей. Поэтому такой вывод казался в некотором роде логичным. Если возникала проблема, её можно было