Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Фред::Привлекательность == Привлекательность_20934.

Эмпирический факт о Фреде состоит в том, что он использует функцию Привлекательность_20934 для оценки потенциальных партнерш. Возможно, Джон использует точно такой же алгоритм; неважно, откуда он взялся, раз он у нас есть.

И аналогично, та же самая женщина имеет всего 0,01 единицы Привлекательности_72546, тогда как слизевик имеет 3 единицы Привлекательности_72546. Эмпирический факт состоит в том, что Блугах использует Привлекательность_72546, чтобы решать, кого похитить; то есть Блугах::Привлекательность обозначает независимый от Блугаха фиксированный математический объект — функцию Привлекательность_72546.

Стоит нам сказать, что женщина обладает 0,01 единицы Привлекательности_72546 и 5 единицами Привлекательности_20934, как все наблюдатели смогут согласиться с этим без какого-либо парадокса.

И оба подхода — двухместный и одноместный — можно объединить с помощью концепции «каррирования», названной в честь математика Хаскелла Карри. Каррирование — это прием, допускаемый в некоторых языках программирования, когда, к примеру, вместо записи

x = plus(2, 3) (x = 5),

вы также можете написать

y = plus(2)

(теперь y — это «каррированная» форма функции plus, которая «съела» двойку)

x = y(3) (x=5)

z = y(7) (z=9).

Таким образом, plus — это двухместная функция, но каррирование plus (когда ей дают «съесть» лишь один из двух необходимых аргументов) превращает ее в одноместную функцию, которая прибавляет двойку к любому входному значению. (Аналогично, вы могли бы начать с семиместной функции, передать ей четыре аргумента, и результатом стала бы трехместная функция и так далее).

Истинный пурист настаивал бы на том, что все функции по определению должны рассматриваться как принимающие ровно один аргумент. При таком подходе plus принимает одно число на входе и выдает новую функцию; а эта новая функция принимает одно число на входе и в итоге выдает результат. С этой точки зрения, когда мы пишем plus(2, 3), мы на самом деле вычисляем plus(2), чтобы получить функцию, прибавляющую двойку к любому входу, а затем применяем результат к тройке. Программист записал бы это так:

plus: int → (int → int).

Это означает, что plus принимает int в качестве аргумента и возвращает функцию типа int → int.

Возвращаясь от метафоры к использованию слов людьми, мы можем представить себе, что «привлекательность» первым делом поглощает Ценителя и выдает фиксированный математический объект, описывающий, как данный Ценитель в настоящий момент оценивает красоту. Это эмпирический факт о Ценителе, что его интуитивные представления о желанности вычисляются способом, изоморфным этой математической функции.

Затем математический объект, полученный в результате каррирования Привлекательность(Ценитель), можно применить к Женщине. Если Ценителем изначально был Фред, то Привлекательность(Фред) сначала вернет Привлекательность_20934. Тогда мы сможем утверждать, что независимым от Фреда эмпирическим фактом о Женщине является то, что Привлекательность_20934(Женщина) = 5.

В мысленном эксперименте Хилари Патнэма «Земля-двойник» поднялась огромная философская шумиха вокруг вопроса о том, имеет ли смысл постулировать существование Земли-Двойника, которая в точности похожа на нашу собственную, за исключением того, что вместо воды как H2O тамошняя вода представляет собой другое прозрачное текучее вещество, XYZ. Кроме того, время действия мысленного эксперимента перенесено на несколько веков назад, так что ни на нашей Земле, ни на Земле-Двойнике никто не знает, как проверить альтернативные гипотезы о формуле воды (H2O против XYZ). Означает ли слово «вода» в том мире то же самое, что и в этом?

Одни говорили: «Да, потому что когда житель Земли и житель Земли-Двойника произносят слово „вода“, они имеют в виду одну и ту же сенсорную проверку».

Другие говорили: «Нет, потому что „вода“ на нашей Земле означает H2O, а „вода“ на Земле-Двойнике означает XYZ».

Если рассматривать «воду» как концепт, который начинает с «поглощения» мира ради выяснения эмпирической истинной природы этого прозрачного текучего вещества и возвращает новый фиксированный концепт Вода42 или H2O, тогда этот «пожирающий мир» концепт одинаков и на нашей Земле, и на Земле-Двойнике; он просто возвращает разные ответы в разных местах.

Если под «водой» вы понимаете H2O, то при переносе концепта между мирами его поведение не меняется, а на Земле-Двойнике нет никакого H2O.

И, разумеется, нет никакого смысла спорить о том, что на самом деле означает звучание слогов «во-да».

Так стоит ли просто выбрать одно определение и последовательно его использовать? Но уберечь себя от путаницы не так-то просто. Вам придётся приучить себя сознательно отслеживать различие между каррированными и некаррированными формами концептов.

Когда вы берёте некаррированный концепт воды и применяете его к другому миру, это тот же самый концепт, но он указывает на другую вещь; то есть мы применяем постоянную «пожирающую мир» функцию к другому миру и получаем другое возвращаемое значение. На Земле-Двойнике XYZ — это «вода», а H2O — нет; на нашей Земле H2O — это «вода», а XYZ — нет.

С другой стороны, если считать, что слово «вода» указывает на то, что предыдущий мыслитель назвал бы «результатом применения „воды“ к нашей Земле», тогда на Земле-Двойнике XYZ не является водой, а H2O является.

Вся запутанность последующей философской дискуссии основывалась на склонности инстинктивно каррировать концепты или же инстинктивно их декаррировать.

Подобным образом Фреду требуется сделать дополнительный шаг, чтобы осознать, что другие агенты — например, агент Пучеглазый Монстр — будут выбирать жертв для похищения и надругательства на основе Привлекательность_ПМ(Женщина), а не Привлекательность_Фред(Женщина). Для этого Фред должен сознательно переосмыслить Привлекательность как функцию от двух аргументов. Всё, что инстинктивно делает мозг Фреда, — это оценивает Женщина.привлекательность (то есть Привлекательность_Фред(Женщина)), но эта величина просто помечена как Женщина.привлекательность.

Фиксированная математическая функция Привлекательность_20934 никак не упоминает ни Фреда, ни ПМ, а только женщин, поэтому Фред инстинктивно не видит, почему ПМ оценивал бы «привлекательность» как-то иначе. И действительно, ПМ не стал бы оценивать Привлекательность_20934 как-то иначе, если бы по какой-то странной причине его волновал результат этой конкретной функции; однако эмпирический факт о ПМ состоит в том, что он использует другую функцию, чтобы решать, кого похитить.

Если вам интересно, в чём смысл этого анализа, попробуйте применить эти различия на практике, чтобы наложить Табу на такие сбивающие с толку слова, как «объективный», «субъективный» и «произвольный».

*

270. Что бы вы делали без морали? Тем, кто говорит: «Ничто не реально», я однажды ответил: «Отлично, но как работает это ничто?».

Представьте, что вы внезапно и окончательно узнали, что ничто не морально и ничто не правильно; что всё дозволено и ничего не запрещено.

Новость, безусловно,