Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Со времён Великой войны 1957 года государства неохотно открыто одобряют или осуждают кучи больших размеров, ведь это с лёгкостью приводит к войне. Более того, некоторые философы сортировщиков камешков — которые, кажется, находят явное удовольствие в том, чтобы шокировать окружающих своим цинизмом, — и вовсе отрицают существование какого-либо прогресса в сортировке камешков. Они предполагают, что мнения о кучах со временем менялись по принципу случайного блуждания и лишены какой-либо внутренней согласованности, а иллюзия прогресса создаётся лишь за счёт того, что любое отличающееся прошлое объявляется неправильным. Эти философы указывают на разногласия вокруг больших куч как на доказательство того, что нет ничего, что делало бы кучу из 91 элемента по-настоящему неправильной — просто в один период времени было модно строить такие кучи, а в другой — модно их осуждать. Возражение вроде «Но... 13!» для них пустой звук; ведь считать «13!» убедительным контраргументом — это тоже всего лишь очередная условность, заявляют они. Кучевые релятивисты утверждают, что их философия способна предотвратить будущие катастрофы вроде Великой войны 1957 года, однако в обществе она повсеместно считается философией отчаяния.

Теперь вопрос о том, что делает кучу правильной или неправильной, обрёл новую остроту, ведь вскоре сортировщики камешков могут приступить к созданию самосовершенствующегося искусственного интеллекта. Кучевые релятивисты предостерегают от этого проекта: они утверждают, что ИИ, не принадлежа к виду сортировщик камешков разумный, может сформировать собственную культуру с совершенно иными представлениями о правильности куч. «Они могут решить, что кучи из 8 камешков правильные, — говорят кучевые релятивисты, — и хотя в конечном счёте они будут ничуть не более правы или неправы, чем мы, всё же наша цивилизация гласит, что мы не должны строить такие кучи. В наших интересах создавать ИИ лишь при условии, что ко всем компьютерам будут привязаны бомбы, чтобы в случае, если ИИ сочтёт правильной кучу из 8 камешков, мы могли заставить его строить кучи из 7 камешков. Иначе — БАБАХ!»

Но большинству сортировщиков камешков это кажется абсурдом. Разумеется, достаточно мощный ИИ — особенно «сверхинтеллект», о котором без умолку твердят некоторые транссортировщики камешков, — сможет с первого взгляда определить, какие кучи правильные, а какие нет! Сама мысль о том, что нечто с мозгом размером с планету сочтёт правильной кучу из 8 камешков, слишком нелепа, чтобы вообще её обсуждать.

И действительно, пытаться ограничить сверхинтеллект в том, как он сортирует камешки в кучи — затея совершенно бесполезная. Представьте, что Великий Вождь Бико в свою первобытную эпоху смог бы сконструировать самосовершенствующийся ИИ и создал бы его как максимизатор ожидаемой полезности, чья функция полезности велела бы ему создавать как можно больше куч размером 91. Разумеется, усовершенствовавшись в достаточной степени и став достаточно умным, этот ИИ с первого взгляда понял бы, что эта функция полезности неправильна, и, имея возможность изменять собственный исходный код, переписал бы свою функцию полезности, чтобы ценить более разумные размеры куч, например 101 или 103.

И уж точно не кучи размером 8. Это было бы просто глупо. Любой разум, способный на такую глупость, слишком туп, чтобы представлять угрозу.

Успокоенные подобным здравым смыслом, сортировщики камешков на всех парах бросаются воплощать свой проект — сваливать в кучу множество случайных алгоритмов на больших компьютерах, пока не возникнет хоть какой-то разум. Вся история цивилизации показывает, что более богатые, умные и образованные цивилизации обычно приходят к согласию относительно куч, о которых когда-то спорили их предки. Конечно, тогда появляются более крупные кучи, о которых можно поспорить, — но чем дальше продвигались технологии, тем более крупные кучи удавалось согласовать и построить.

Действительно, сам по себе интеллект всегда коррелировал с созданием правильных куч: ближайшие эволюционные родственники сортировщиков камешков, пебпанзе, строят кучи размером всего лишь 2 или 3, а изредка — глупые кучи вроде 9. А другие, ещё менее разумные существа, например рыбы, вообще не строят никаких куч.

Выше интеллект — умнее кучи. С чего бы этой тенденции нарушаться?

*

269. Двухместные и одноместные слова.

Ранее я уже говорил о старых обложках бульварных журналов, на которых пучеглазый монстр уносил девушку в разорванном платье, а также о том, что люди склонны думать, будто сексуальная привлекательность — это неотъемлемое свойство самого привлекательного объекта, никак не зависящее от ценителя.

«Конечно, пучеглазый монстр предпочтет человеческих женщин особям своего вида, — говорит художник (назовем его Фредом). — Он ведь видит, что у человеческих женщин мягкая, приятная кожа, а не склизкая чешуя. Может, он и пришелец, но вовсе не глуп — с чего вы взяли, что он совершит столь элементарную ошибку в оценке привлекательности?»

В чем же ошибка Фреда? Он трактует функцию от двух аргументов («двухместную функцию»):

Привлекательность: Ценитель, Объект → [0, ∞),

так, будто это функция от одного аргумента («одноместная функция»):

Привлекательность: Объект → [0, ∞).

Если трактовать Привлекательность как функцию, которая принимает в качестве аргумента лишь один Объект, то, разумеется, будет казаться, будто Привлекательность зависит исключительно от Объекта, а все остальное не имеет значения.

Когда вы думаете о двухместной функции как об одноместной, вы в итоге совершаете ошибку изменяющегося вопроса или иллюзию проекции разума. Это все равно что пытаться определить, находится ли здание само по себе с левой или с правой стороны дороги, безотносительно направления чьего-либо движения.

Альтернативная и не менее обоснованная точка зрения заключается в том, что «привлекательность» действительно относится к одноместной функции — просто каждый говорящий использует свою собственную одноместную функцию, чтобы решить, кого похитить и обесчестить. С чего вы взяли, что если художник Фред и пучеглазый монстр Блугах используют слово «привлекательный», они обязательно вкладывают в него один и тот же смысл?

С этой точки зрения нет никакого парадокса в том, чтобы говорить, что у некой женщины само по себе имеется 5 единиц Фред::Привлекательности. С этим фактом согласятся все наблюдатели, как только Фред::Привлекательность будет определена через изгибы тела, текстуру кожи, одежду, статусные сигналы и так далее. Такое определение может вообще не упоминать Фреда — только оцениваемую женщину.

Так уж вышло, что сам Фред использует этот алгоритм для выбора объектов флирта. Но это не значит, что сам алгоритм обязан упоминать Фреда. Таким образом, функция привлекательности Фреда при таком подходе действительно является функцией от одного аргумента — женщины. Я назвал ее Фред::Привлекательность, но помните, что это имя относится к функции, описываемой независимо от Фреда. Возможно, лучше было