Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

А еще существуют долгие обоснования этого утверждения, опирающиеся на 75% моих постов в Overcoming Bias, так что обобщить всё это — задача не на один день. Может, как-нибудь в другую неделю. Я видел так много ветвей, по которым уходило это дерево дискуссий.

В конце концов, разум не должен просто испытывать одно и то же переживание снова, снова и снова. Неужели сверхинтеллект совершил бы столь грубую ошибку относительно правильного действия?

Зачем какому-либо сверхразуму желать чего-то столь изначально никчемного, как ощущение открытия без самих реальных открытий? Даже если бы это было его функцией полезности, разве он не заметил бы, что его функция полезности неверна, и не переписал бы ее? У него же есть свобода воли, верно?

Уж конечно, хотя бы скука должна быть универсальной ценностью. Она развилась у людей, потому что она ценна, верно? Так что любой разум, не разделяющий нашей неприязни к повторениям, не сможет преуспеть во Вселенной и будет отсеян...

Если вы знакомы с разницей между инструментальными и терминальными ценностями, а также знакомы с глупостью естественного отбора, и понимаете, как эта глупость проявляется в разнице между реализацией адаптаций и максимизацией приспособленности, и знаете, что это превратило инструментальные подцели размножения во внеконтекстные безусловные эмоции...

... и знакомы с тем, как в сфере искусственного интеллекта устроен компромисс между исследованием и использованием...

...тогда вы, возможно, сможете увидеть, что человеческая форма скуки, требующая постоянного притока новизны ради нее самой, — это не великая универсалия, а всего лишь конкретный алгоритм, который эволюция выплюнула в нас. И вы, возможно, сможете увидеть, почему подавляющее большинство возможных максимизаторов ожидаемой полезности занимались бы эффективными исследованиями лишь в строго ограниченном объеме, а большую часть времени тратили бы на использование наилучшей альтернативы, найденной на данный момент, снова, снова и снова.

Для этого, однако, требуется слишком много фоновых знаний.

И так далее, и так далее, и так далее на протяжении 75% моих постов в Overcoming Bias и многих цепочек заблуждений и контр-объяснений. Как-нибудь на досуге я, возможно, попытаюсь расписать всю схему целиком. Но пока я буду считать, что вы уже читали эти аргументы, и просто изложу вывод:

Мы не можем ослабить контроль над будущим — выпустить из рук руль — и все равно получить в итоге хоть что-то ценное.

А те, кто считает, что мы можем, —

— они пытаются быть космополитами. Я это понимаю. В детстве я читал те же самые фантастические книги: провинциальные злодеи, порабощающие инопланетян лишь за то, что те не похожи на людей; провинциальные злодеи, держащие в гнусном заточении беспомощных ИИ, полагая, что кремний не может обладать сознанием; и космополитичные герои, которые понимают, что разум не обязан быть похожим на наш, чтобы мы признали его ценность —

Я читал эти книги. И когда-то я им верил. Но красота, выпрыгивающая из одной коробки, вовсе не обязательно выпрыгивает из всех коробок. Если отбросить всякий порядок, останется не идеальный ответ; останется абсолютный шум. Иногда приходится отказываться от старого конструкторского правила, чтобы построить лучшую мышеловку, но это совсем не то же самое, что отказаться от всех конструкторских правил вообще и просто сгрести древесную стружку в кучу, считая любой случайный узор из щепок ничем не хуже любого другого. От старого правила всегда отказываются по велению какого-то более высокого правила, какого-то более высокого, определяющего критерия ценности.

Если вы ослабите хватку человеческой морали и метаморали — результат не будет таинственным, чуждым и прекрасным по меркам человеческих ценностей. Это будет моральный шум, вселенная, замощенная скрепками. Отклонение от человеческой морали в сторону улучшения, а не энтропии требует критерия улучшения; и этот критерий физически представлен в наших мозгах, и только в них.

Стоит ослабить хватку человеческих ценностей, удерживающую вселенную, и в итоге она окажется напрочь лишённой ценности. Не странной, чуждой и чудесной, шокирующей, пугающей и прекрасной за пределами всякого человеческого воображения. А просто — замощенной скрепками.

Видите ли, это только у некоторых людей есть эта идея — принимать всё многообразие видов разума, желать, чтобы Будущее было чем-то большим, чем прошлое, стремиться не быть привязанными к своему прошлому «я», пытаться меняться и двигаться вперед.

Максимизатор скрепок просто выбирает то действие, которое ведет к наибольшему количеству скрепок.

Бесплатных обедов не бывает. Хотите чудесную и таинственную вселенную? Это ваша ценность. Вы трудитесь над созданием этой ценности. Пусть эта ценность проявляет свою силу через вас, её представителя; пусть она принимает решения в вас, формируя будущее. И тогда, возможно, вы действительно получите чудесную и таинственную вселенную.

Бесплатных обедов не бывает. Ценные вещи появляются потому, что целевая система, которая их ценит, предпринимает действия для их создания. Скрепки не материализуются из ниоткуда для максимизатора скрепок. И удивительно чуждое, таинственное Будущее не материализуется из ниоткуда для нас, людей, если наши ценности, которые отдают ему предпочтение, будут физически уничтожены — или даже искажены не в том измерении. Тогда во вселенной не останется ничего, что работало бы над тем, чтобы сделать вселенную ценной.

У вас действительно есть ценности, даже когда вы пытаетесь быть «космополитичным», пытаясь продемонстрировать подобающее добродетельное уважение к чуждому разуму. Просто в такие моменты ваши ценности еще сильнее уходят на невидимый задний план — они кажутся менее очевидно человеческими. Ваш мозг, скорее всего, даже не сгенерирует альтернативу настолько ужасную, чтобы она заставила вас очнуться и сказать: «Нет! Что-то пошло не так!», даже на пике вашего космополитизма. Например: «не обладающий сознанием оптимизатор поглощает всё вещество в своём будущем световом конусе и замащивает вселенную скрепками». Вы будете просто воображать странные чужие миры, чтобы восхищаться ими.

Попытки быть «космополитом» — гражданином космоса — всего лишь сдирают поверхностный налёт целей, которые кажутся очевидно «человеческими».

Но если вы не хотели бы видеть Будущее, замощенное скрепками, а предпочли бы цивилизацию...

...сознающих существ...

...с приятными переживаниями...

...которые не сводятся к одному и тому же переживанию снова и снова...

...и привязаны к чему-то еще, кроме просто последовательности внутренних приятных ощущений...

...обучающихся, совершающих открытия, свободно выбирающих...

...что ж, мои посты по Теории веселья углубляются в некоторые скрытые подробности, стоящие за этими короткими словами.

Ценности, которые вы могли бы превозносить как космополитичные, универсальные, фундаментальные или как очевидный здравый смысл, представлены в вашем мозге точно так же, как и те, что вы могли бы отбросить как всего лишь человеческие. Эти ценности проистекают из долгой истории человечества и морально чудесной глупости