Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

самом деле волнует, — это нечто иное, например, смертность. Если бы предметом спора было количество ног у Сократа, ваш оппонент просто ответил бы: «Что значит „у Сократа две ноги“? Мы как раз об этом и спорим!» (Споры «по определению»)

Вы заявляете: «P по определению являются Q!» Если вы видите Сократа в поле с какими-то биологами, собирающего травы, которые могут дать устойчивость к болиголову, нет никакого смысла утверждать: «Люди по определению смертны!» В основном потребность закрутить гайки, настаивая на том, что нечто верно «по определению», возникает тогда, когда другие данные ставят под сомнение вывод по умолчанию. (Споры «по определению»)

Вы пытаетесь обосновать принадлежность к эмпирическому кластеру «по определению». У вас бы не возникло потребности сказать: «Индуизм, по определению, является религией!», потому что, ну, разумеется, индуизм — это религия. Это не просто религия «по определению», это, типа, самая настоящая религия. Атеизм не похож на центральных представителей кластера «религия», так что если бы не тот факт, что атеизм — это религия по определению, вы могли бы ходить и думать, что атеизм религией не является. Вот почему вам нужно сокрушить всякое сопротивление, указав на то, что утверждение «атеизм — это религия» верно по определению, — ведь иначе оно верным не окажется. (Споры «по определению»)

Ваше определение очерчивает границу вокруг вещей, которым на самом деле не место в одной группе. При желании вы можете утверждать, что определяете слово «рыба» так, чтобы оно относилось к лососям, гуппи, акулам, дельфинам и форели, но не к медузам или водорослям. Вы можете заявить, если хотите, что это всего лишь список, а список никак не может быть «неправильным». Или вы можете прекратить эти игры и признать, что совершили ошибку и дельфинам не место в списке рыб. (Где провести границу?)

Вы используете короткое слово для того, что вам редко приходится описывать, или длинное слово для того, что описывать приходится часто. Это может привести к неэффективному мышлению или даже к неверному применению бритвы Оккама, если ваш разум считает, что короткие предложения звучат «проще». Что звучит более правдоподобно: «Бог сотворил чудо» или «Сверхъестественная сущность, создавшая вселенную, временно приостановила действие законов физики»? (Энтропия и короткие коды)

Вы проводите границу вокруг области пространства, плотность в которой не выше обычной, а значит, связанное с ней слово не соответствует никаким осуществимым байесовским выводам. Поскольку зеленоглазые люди не имеют большей вероятности быть черноволосыми (и наоборот) и не имеют никаких других общих характеристик, зачем нужно слово «виггин»? (Взаимная информация и плотность в пространстве вещей)

Вы проводите сложную границу без каких-либо на то причин. Попытка определить слово так, чтобы оно относилось ко всем людям, кроме чернокожих, выглядит довольно подозрительно. Если вы не приводите причин проводить именно такую границу, попытка создать в этом месте «произвольное» слово подобна детективу, который говорит: «Что ж, у меня нет ни малейшей зацепки в пользу той или иной версии о том, кто мог убить этих сирот... но рассматривали ли мы в качестве подозреваемого Джона К. Уиффлхейма?» (Суперэкспоненциальное пространство понятий и простые слова)

Вы используете категоризацию, чтобы делать выводы о свойствах, которые не обладают подходящей эмпирической структурой (а именно, условной независимостью при условии знания класса), позволяющей хорошо аппроксимировать их с помощью наивного байесовского классификатора. Я ни за что не стану пытаться это резюмировать. Просто прочитайте эссе. (Условная независимость и наивный Байес)

Вы думаете, что слова в вашем разуме подобны крошечным LISP-символам, а не ярлыкам, которые служат рукоятками для управления сложными ментальными кистями, способными рисовать детальные картины в вашем сенсорном пространстве. Представьте себе «треугольную лампочку». Что вы увидели? (Слова как рукоятки ментальных кистей)

Вы используете слово, имеющее разные значения в разных контекстах, так, будто оно каждый раз означает одно и то же, что, возможно, создает иллюзию чего-то изменчивого и многоликого. «Мартин сказал Бобу, что здание находится слева от него». Но «слева» — это функциональное слово, значение которого вычисляется с помощью зависимой от говорящего переменной, взятой из окружающего контекста. Чье именно «слева» имеется в виду — Боба или Мартина? (Логические ошибки переменного вопроса)

Вы считаете, что определения не могут быть «неправильными», или думаете: «Я могу определять слова как мне вздумается!» Подобная установка учит вас с негодованием защищать свои прошлые действия вместо того, чтобы обращать внимание на их последствия или признавать собственные ошибки. (37 способов, которыми неоптимальное использование категорий может негативно повлиять на ваше мышление)

Всё, что вы делаете в своем разуме, имеет последствия, и ваш мозг несется вперед бессознательно, без вашего присмотра.

Слова вроде «Слова произвольны; я могу давать слову любое определение, какое захочу» имеют примерно столько же смысла, сколько езда по тонкому льду с педалью газа в пол и рассуждениями: «Глядя на этот руль, я не вижу причин, почему какой-то один угол поворота является особенным — а значит, я могу крутить руль как мне вздумается».

Если вы пытаетесь куда-то добраться или хотя бы просто выжить, вам лучше начать обращать внимание на те три-шесть десятков критериев оптимальности, которые управляют тем, как вы используете слова, определения, категории, классы, границы, ярлыки и концепты.

*

Интерлюдия. Интуитивное объяснение теоремы Байеса. Примечание редактора: это сокращенная версия оригинального эссе, содержавшего множество интерактивных элементов.

Ваши друзья и коллеги постоянно говорят о чем-то под названием «теорема Байеса», или «правило Байеса», или о каком-то там байесовском мышлении. Причем говорят с большим энтузиазмом. Вы гуглите, находите веб-страницу о теореме Байеса и...

И видите формулу. И всё. Одну-единственную формулу. Страница, которую вы нашли, дает ей определение, но не объясняет, что это вообще такое, чем она полезна и почему ваши друзья так ею восторгаются. Выглядит как какая-то случайная статистическая штуковина.

Почему же математическое понятие вызывает такой странный восторг у тех, кто его изучает? Что это за так называемая «байесовская революция», которая сейчас охватывает науку и претендует на то, чтобы включить в себя даже сам экспериментальный метод в качестве частного случая? В чем секрет, который знают адепты Байеса? Что за свет они узрели?

Скоро вы узнаете. Скоро вы станете одним из нас.

Хотя в интернете и можно найти несколько объяснений теоремы Байеса, мой опыт знакомства людей с байесовским мышлением показывает, что эти объяснения слишком абстрактны. Байесовское мышление крайне контринтуитивно. Люди не применяют его интуитивно, им очень трудно научиться ему даже с преподавателем, и они быстро забывают