Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Вы относитесь к интуитивно воспринимаемым иерархическим категориям как к единственному верному способу деления мира на части, не понимая, что возможны и другие формы статистического вывода, даже если ваш мозг их не использует. Человеку гораздо проще заметить, является ли объект «блэггом» или «рубом», чем человеку заметить, что красные объекты никогда не светятся в темноте, но красные пушистые объекты обладают всеми остальными характеристиками блэггов. Другие статистические алгоритмы работают иначе. (Нейронные категории)

Вы говорите о категориях так, словно это манна небесная, упавшая из Платоновского царства, а не выводы, производимые реальным мозгом. Древние философы говорили: «Сократ — человек», а не «Мой мозг на уровне восприятия классифицирует Сократа как соответствующего концепту "человек"». (Как алгоритм ощущается изнутри)

Вы спорите о принадлежности к категории даже после того, как исключили все вопросы, которые потенциально могли бы зависеть от вывода на основе этой категории. После того как вы заметили, что объект синий, яйцевидный, пушистый, гибкий, непрозрачный, светящийся и содержит палладий, что еще остается спрашивать в споре: «Блэгг ли это?» Но если классифицирующая нейросеть вашего мозга содержит (метафорический) центральный узел, отвечающий за вывод о «блэгговости», вам всё равно может казаться, будто остался нерешенный вопрос. (Как алгоритм ощущается изнутри)

Вы позволяете спору скатиться к обсуждению определений, хотя изначально собирались спорить совсем не об этом. Если бы до начала спора о том, издает ли падающее в пустом лесу дерево «звук», вы спросили двух будущих спорщиков, как, по их мнению, следует определять «звук» — как «акустические колебания» или как «слуховые ощущения», они, скорее всего, предложили бы вам бросить монетку. И только после начала спора определение слова становится политически заряженным. (Споры об определениях)

Вы думаете, что значение слова — это свойство самого слова, а не ярлык, который ваш мозг связывает с определенным концептом. Когда кто-то кричит: «Ой! Тигр!», эволюция вряд ли отдала бы предпочтение организму, который размышляет: «Хм... Я только что услышал слоги «ти» и «гр», которые мои соплеменники связывают со своими внутренними аналогами моего собственного концепта тигра, и которые... а-а-а-а-а ХРУСЬ ХРУСЬ СГЛОТ». Поэтому мозг срезает путь, и начинает казаться, будто свойство «тигровости» присуще самому ярлыку. Люди спорят о правильном значении ярлыка вроде «звук». (Почувствуй значение)

Вы спорите о значениях слова даже после того, как все стороны прекрасно поняли, что именно пытаются сказать остальные. Способность человека связывать ярлыки с концептами — это инструмент общения. Когда люди хотят общаться, нас трудно остановить; если у нас нет общего языка, мы будем рисовать картинки на песке. Когда каждый из вас понимает, что на уме у другого, дело сделано. (Аргумент к общепринятому употреблению)

Вы достаете словарь посреди эмпирического или этического спора. Составители словарей — это историки словоупотребления, а не законодатели языка. Если общепринятое определение содержит ошибку — если «Марс» определяется как бог войны, «дельфин» — как разновидность рыбы, а «негры» — как отдельная от людей категория, то словарь просто отразит это стандартное заблуждение. (Аргумент к общепринятому употреблению)

Вы достаете словарь посреди вообще любого спора в вашей жизни. Серьезно, с какой стати вы решили, что составители словарей — авторитеты в вопросе о том, является ли «атеизм» «религией» или чем-то в этом роде? Если на кону стоит хоть сколько-нибудь содержательный вопрос, неужели вы думаете, что составители словарей обладают доступом к высшей мудрости, способной разрешить этот спор? (Аргумент к общепринятому употреблению)

Вы без всякой причины идете наперекор общепринятому словоупотреблению, совершенно излишне усложняя другим понимание ваших слов. Быстро вставать плутоний, с бубликами без ручки. (Аргумент к общепринятому употреблению)

Вы используете сложные переименования, чтобы создать иллюзию логического вывода. Определяется ли «человек» как «смертное двуногое без перьев»? Тогда запишите: «Все [смертные двуногие без перьев] смертны; Сократ — [смертное двуногое без перьев]; следовательно, Сократ смертен». Выглядит уже не так впечатляюще, правда? (Пустые ярлыки)

Вы ввязываетесь в споры, которых могли бы избежать, если бы просто не использовали конкретное слово. Если Альберту и Барри запретить использовать слово «звук», то Альберту придется сказать: «Дерево, падающее в пустом лесу, создает акустические колебания», а Барри скажет: «Дерево, падающее в пустом лесу, не создает слуховых ощущений». Когда слово создает проблему, простейшее решение — исключить само слово и его синонимы. (Табуируйте слова)

Наличие удобного короткого слова мешает вам разглядеть детали того, о чем вы пытаетесь думать. Что на самом деле происходит в школах, если перестать называть это «образованием»? Что такое диплом, если перестать называть его «дипломом»? Если монета падает «орлом», какова ее радиальная ориентация? Что такое «истина», если нельзя говорить «точный», «правильный», «соответствовать», «отражать», «семантический», «верить», «знание», «карта», «реальный» или использовать любые другие простые термины? (Замените символ сутью)

У вас есть только одно слово, хотя в реальности существуют две или более разные вещи, из-за чего все факты о них сваливаются в единую недифференцированную ментальную корзину. Обычная работа детектива — заметить, что вчера вечером Кэрол была в красном или что у нее черные волосы; обычная работа детектива — задуматься, не красит ли Кэрол волосы. Но нужен более проницательный детектив, чтобы заподозрить, что Кэрол на самом деле две, и Кэрол в красном — вовсе не та же самая Кэрол, у которой были черные волосы. (Ошибки сжатия)

Вы видите закономерности там, где их нет, приписывая объектам другие характеристики на основе ваших определений, даже когда в этом аспекте нет никакого сходства. В Японии считается, что люди с группой крови A — серьезные и творческие, с группой B — необузданные и жизнерадостные, с группой O — покладистые и общительные, а с группой AB — хладнокровные и сдержанные. (Классификация имеет последствия)

Вы пытаетесь незаметно протащить коннотации слова, строя аргументацию на определении, которое этих коннотаций не содержит. В словаре «виггин» определяется как человек с зелеными глазами и черными волосами. Однако слово «виггин» также несет в себе коннотацию человека, который совершает преступления и запускает в воздух милых бельчат, но этой части в словаре нет. И вот вы указываете на кого-то пальцем и говорите: «Зеленые глаза? Черные волосы? Ну вот, я же говорил, что он виггин! Смотри, сейчас он еще и столовое серебро украдет». (Коннотации контрабандой)

Вы заявляете: «Х по определению является Y!» В таких случаях вы почти наверняка пытаетесь протащить коннотацию Y, которой не было в вашем определении. Вы определяете «человека» как «двуногое без перьев», указываете на Сократа и говорите: «Перьев нет — две ноги — значит, человек!» Но то, что вас на