Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

как одно событие, потому что для них нет отдельных ментальных файлов, — или одна и та же функция вычисляется в разных контекстах, — тогда сама реальность становится изменчивой и текучей. По крайней мере, именно так это ощущается алгоритмом изнутри. Внутренний взор видит карту, а не саму территорию напрямую.

Если перед вами вопрос со скрытой переменной, которая принимает разные значения в разных контекстах, кажется, будто сама реальность нестабильна — картина перед вашим внутренним взором меняется в зависимости от того, куда он направлен.

Это часто сбивает с толку студентов младших курсов (и профессоров-постмодернистов), когда они натыкаются на предложение, имеющее более одной интерпретации; им кажется, будто они обнаружили нестабильный фрагмент реальности.

«О боже! Утверждение „Солнце вращается вокруг Земли“ истинно для охотника-собирателя Хунги, но для астронома Амары утверждение „Солнце вращается вокруг Земли“ ложно! Никакой неизменной истины нет!» Деконструкция этого ребяческого вздора оставляется читателю в качестве упражнения.

И тем не менее, даже я поначалу поймал себя на том, что пишу: «Если в одних случаях Х равен 5, а в других — 4, то предложение „2 + 2 = Х“ может не иметь фиксированного истинностного значения». Но здесь нет одного предложения с переменным истинностным значением. У «2 + 2 = Х» вообще нет истинностного значения. Это еще не высказывание, пока еще нет — не в том смысле, в каком математики определяют понятие высказывания, — точно так же как «2 + 2 =» не является высказыванием, а «Фред перепрыгнул через» не является грамматически полным предложением.

Но это заблуждение так и норовит прокрасться в мысли, даже если вы якобы прекрасно всё понимаете — просто потому, что именно так этот алгоритм ощущается изнутри.

*

180. 37 способов, которыми слова могут быть неправильными.

Кто-нибудь из читателей обязательно заявит, что это эссе лучше было бы назвать «37 способов неразумного использования слов» или «37 способов, которыми неоптимальное использование категорий может иметь негативные побочные эффекты для вашего мышления».

Но один из главных уроков этого гигантского списка заключается в том, что заявление вроде «Мой выбор X ни в коем случае не может быть "ошибочным"» на практике почти всегда оказывается ошибкой, какова бы ни была теория. Вы всегда можете ошибаться. Даже когда ошибиться теоретически невозможно, вы всё равно можете ошибиться. Ни для одного вашего действия не существует бесплатной карты «Выход из тюрьмы». Такова жизнь.

К тому же я могу дать слову «неправильный» любое угодное мне определение — не то чтобы само слово могло быть неправильным.

Лично я считаю вполне оправданным использовать слово «неправильный», когда:

Слово изначально вообще не соотносится с реальностью. Сократ — фрамстер? Да или нет? (Притча о кинжале)

Ваш аргумент, если бы он работал, мог бы заставить реальность пойти по другому пути за счет выбора иного определения слова. Сократ — человек, а люди по определению смертны. Если бы вы определили людей как несмертных, стал бы Сократ жить вечно? (Притча о болиголове)

Вы пытаетесь объявить некое эмпирическое утверждение истинным «по определению». Сократ — человек, а люди по определению смертны. Будет ли логической истиной наше эмпирическое предсказание, что Сократ упадет замертво, если выпьет болиголов? Похоже, существуют логически возможные, непротиворечивые миры, где Сократ не падает замертво — где он, скажем, невосприимчив к болиголову из-за причуды биохимии. Логические истины верны во всех возможных мирах, а потому никогда не говорят вам, в каком именно из возможных миров вы живете — а всё, что вы можете обосновать «по определению», является логической истиной. (Притча о болиголове)

Вы бессознательно вешаете на что-то привычный ярлык, фактически не используя то вербальное определение, которое вы только что дали. Вы прекрасно знаете, что Боб — «человек», хотя по вашему определению вы никогда не можете назвать Боба «человеком», пока лично не убедитесь в его смертности. (Притча о болиголове)

Сам акт навешивания словесного ярлыка маскирует спорный индуктивный вывод, который вы делаете. Если последние 11 извлеченных яйцевидных объектов были синими, а последние 8 кубов — красными, то предположение, что это правило сохранится в будущем, — вопрос индукции. Но если вы назовете синие яйца «блэггами», а красные кубы — «рубами», вы можете запустить руку в бочку, нащупать яйцевидную форму и подумать: «О, блэгг». (Слова как скрытые умозаключения)

Вы пытаетесь определить слово через другие слова, которые, в свою очередь, определяются через еще более абстрактные понятия, не будучи в состоянии привести конкретный пример. «Что такое красный?» — «Красный — это цвет». — «А что такое цвет?» — «Это свойство вещи». — «А что такое вещь? Что такое свойство?» Вам даже не приходит в голову просто указать на знак «Стоп» и яблоко. (Экстенсионалы и интенсионалы)

Экстенсионал не соответствует интенсионалу. Мы не отдаем себе сознательного отчета в том, как идентифицируем красную точку в небе как «Марс», — а ведь это произойдет независимо от вашей попытки определить «Марс» как «бога войны». (Экстенсионалы и интенсионалы)

Ваше вербальное определение охватывает лишь крошечную долю общих характеристик категории, но вы рассуждаете так, словно оно исчерпывающее. Когда философы Платоновой академии заявили, что наилучшее определение человека — это «двуногое без перьев», Диоген-киник, по преданию, показал им ощипанного цыпленка и провозгласил: «Вот человек Платона». Платоники поспешно дополнили свое определение: «двуногое без перьев с плоскими ногтями». (Кластеры сходства)

Вы пытаетесь трактовать принадлежность к категории по принципу «всё или ничего», игнорируя существование более и менее типичных субкластеров. Утки и пингвины — менее типичные птицы, чем малиновки и голуби. Что интересно, межгрупповой эксперимент показал: испытуемые считали, что болезнь на острове с большей вероятностью передастся от малиновок к уткам, чем от уток к малиновкам. (Типичность и асимметричное сходство)

На практике вербального определения вполне достаточно, чтобы указать на нужный кластер похожих вещей, но вы цепляетесь к исключениям. Не у каждого человека десять пальцев, не каждый носит одежду или пользуется языком; но если вы ищете эмпирический кластер вещей, разделяющих эти характеристики, вы получите достаточно информации, чтобы редкий девятипалый человек не сбил вас с толку. (Кластерная структура пространства вещей)

Вы спрашиваете, «является» или «не является» нечто членом категории, но не можете сформулировать вопрос, на который на самом деле хотите получить ответ. Кто такой «мужчина»? Является ли малыш Барни «мужчиной»? «Правильный» ответ может сильно зависеть от того, на какой вопрос вы действительно хотите получить ответ: «Хорошо ли будет накормить Барни болиголовом?» или «Выйдет ли