Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

или неправильно небольшое количество камней в гнезде; 11 казалось правильным с первого взгляда, а 12 — явно неправильным. Однако на этом они не остановились. Видите ли, гнездо с большим правильным количеством камней выглядело внушительнее; честно говоря, оно было сексуальнее. Но когда дело доходило до этих больших чисел, птицелюди начинали спорить о правильности.

Было ли 37 правильным или неправильным? Приходилось некоторое время вглядываться, прежде чем окончательно решить, что оно правильное. 60? Дико неправильное, никого не обманет ни на секунду. 91 было той самой дьявольской ложью, которая могла бы обмануть множество простаков, если бы кто-то построил такое гнездо, — пока не являлся кто-то помудрее и не раскладывал прямоугольник из 7 на 13 камешков, и тогда этот довод казался настолько убедительным, что они больше никогда даже не смотрели в сторону гнезда из 91 камня.

Неизбежно некоторые циничные инопланетяне правильных гнезд вопрошали: «Как мы можем знать, что прогресс вообще существует? Тысячу лет назад древние фениксианцы сказали бы, что 91 — правильное количество камней в гнезде. Сегодня мы говорим, что оно неправильное. Почему это означает, что мы знаем лучше, а не просто наблюдаем чистой воды столкновение фракций и дрейф мнений со временем?»

Возможно, именно эти споры будоражили воображение одного мальчика-птицы и одной девочки-птицы, когда однажды ночью они лежали на холме, глядя на звездное небо и рассуждая о философии.

МАЛЬЧИК-ПТИЦА: Представь себе инопланетян, которые существуют так давно, что достигли абсолютно возможных вершин технологий и цивилизации. Неужели они живут только в гнездах из 3001 камня? Или же они настолько невообразимо мудры, что могут строить гнезда размером со звезды, содержащие септиллионы камней — причем не просто правильные, но и известные им как правильные?

ДЕВОЧКА-ПТИЦА: Я бы удивилась, если бы большинство инопланетян вообще были птицами с гнездами. Можно представить множество самых разных тел, способных построить цивилизацию — подумай, например, о морских существах с их щупальцами. Некоторые инопланетяне могут быть похожи на птиц, но они были бы редким исключением среди всех остальных.

МАЛЬЧИК-ПТИЦА: Ой, да ты понимаешь, о чем я! Неважно, какой у них эквивалент гнезд и камней, которые они туда кладут.

ДЕВОЧКА-ПТИЦА: Думаю, большинству видов инопланетян просто... плевать на точное количество камней в их жилищах. Подозреваю, что «правильные гнезда» — это крайне редкая вещь, которая в итоге могла бы волновать разумных инопланетян.

МАЛЬЧИК-ПТИЦА: А? Почему?

ДЕВОЧКА-ПТИЦА: Ну, как бы сильно мы ни пеклись о правильных гнездах, эта забота вовсе не кажется неизбежным следствием эволюционной логики. Я могу представить птиц, во многом похожих на нас, которые просто вообще не заботятся о правильности гнезд, но при этом у них выживает ровно столько же яиц, сколько и у нас. Это было бы так же удивительно, как встретить инопланетян с чувством юмора. Любовь к собственным детям — это одно, но юмор кажется чем-то сугубо индивидуальным. Если у каких-то инопланетян и есть юмор, они, скорее всего, находятся так далеко от нас, что ни одно наше послание никогда до них не долетит.

МАЛЬЧИК-ПТИЦА: Как странно и жутко думать так о Вселенной — будто большинство инопланетян просто живут в гнездах с неправильным количеством камней! Наверняка к тому времени, как инопланетяне достигают высот цивилизации и начинают путешествовать среди звезд, им с первого взгляда становится очевидно, что гнездо с четырьмя камнями — неправильное!

ДЕВОЧКА-ПТИЦА: Если бы инопланетяне задались этим вопросом, они бы мгновенно узнали ответ. Но это совсем не то же самое, как если бы инопланетян волновала эта конкретная истина об их гнездах. Они просто не задают себе этот вопрос.

МАЛЬЧИК-ПТИЦА: Не понимаю. Если инопланетяне знают, что это неправильное количество камней, но все равно строят такое гнездо, разве это не глупее, чем просто не знать? Как инопланетяне могут быть достаточно умными, чтобы путешествовать к звездам, но при этом настолько глупыми, чтобы добровольно жить в ужасных гнездах?

ДЕВОЧКА-ПТИЦА: Они могут предсказать, какие гнезда мы назвали бы правильными, но они держат курс к совершенно другой цели. Дело не в том, что инопланетяне делают ошибочный фактический прогноз о том, какое количество камней обладает качеством, которое мы зовем «правильностью». Дело в том, что они направляются в другое место. Инопланетяне не пытаются жить в правильных гнездах, так что они не глупы в том смысле, будто они плохие прогнозисты или планировщики. Они движутся мимо нашего пункта назначения, поэтому твой мозг воспринимает это так, будто они промахнулись; но инопланетяне с самого начала вообще не целились в наш пункт назначения.

МАЛЬЧИК-ПТИЦА: Потому что они так одержимы какой-то странной инопланетной целью, что у них не осталось места для заботы о правильности гнезда? Не думаю, что можно выйти к звездам, будучи существом, которое мономаниакально преследует лишь одну-единственную цель. Это было бы глупо.

ДЕВОЧКА-ПТИЦА: У инопланетян может быть сотня разных встроенных эмоций, и они могут желать десять тысяч разных вещей! И все же ни одна из этих вещей, скорее всего, не имела бы отношения к «правильным гнездам» в нашем понимании правильности.

МАЛЬЧИК-ПТИЦА: Кажется, это идет вразрез с огромной тенденцией, которую мы наблюдаем на протяжении всей нашей истории: по мере того как наш вид Правильногнездящихся растет в интеллекте и силе, богатстве, мудрости и знаниях, наши цивилизации строят все более уютные гнезда со все большим количеством общепринятых правильных камней.

ДЕВОЧКА-ПТИЦА: Представители нашего собственного вида имеют общие гены, формирующие схожий мозг. Мы рождаемся с похожими эмоциями, которые заставляют нас схожим образом реагировать на аргументы. Поэтому по мере того как наш вид умнел, мы находили все более совершенные ответы на наши общие внутренние вопросы. Но инопланетяне не стали бы задавать себе тот же внутренний вопрос о правильном количестве камней; а значит, по мере того как оба наших вида становились умнее, их поведение с гнездами не сближалось бы с нашим.

МАЛЬЧИК-ПТИЦА: А как же все остальные вещи в жизни, которые можно получить, только стремясь жить в правильном гнезде? Например, острое зрение, чтобы видеть камни, скрытые в темных углах гнезда, и гибкость ума, необходимая для быстрого понимания того, правильно ли гнездо? Умным инопланетянам потребуются и острое зрение, и гибкий ум, так что они наверняка предпочли бы стать теми инопланетянами, которые любят жить в правильных гнездах, даже если они не родились такими.

ДЕВОЧКА-ПТИЦА: Думаю, у разума может быть гораздо больше иных, инопланетных способов устройства, которые все равно позволят ему достичь звезд.

БОЛЬШИНСТВО ИНОПЛАНЕТНЫХ ВИДОВ, ЕСЛИ БЫ ОНИ ЭВОЛЮЦИОНИРОВАЛИ схожим