Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Избеганием кэшированных мыслей, которые спешат прорваться, используя стандартные слова, так что вы можете заблокировать их, табуировав стандартные слова;

Писательским правилом «Показывай, а не рассказывай!», которое имеет силу и среди рационалистов;

И тем, чтобы не упускать из виду свою первоначальную цель.

Как табуирование слова может помочь вам сохранить свою цель?

Из эссе «Утерянные цели»:

Прямо сейчас, пока вы это читаете, какой-нибудь юноша или девушка сидит за столом в университете, усердно изучая материал, который они не планируют когда-либо использовать и который им совершенно не интересен сам по себе. Они хотят получить высокооплачиваемую работу, а для высокооплачиваемой работы нужна бумажка, а для бумажки требуется степень магистра, а для степени магистра требуется степень бакалавра, а университет, выдающий степень бакалавра, требует, чтобы для выпуска вы прослушали курс по схемам вязания двенадцатого века. Поэтому они прилежно учатся, намереваясь забыть всё в ту же секунду, когда закончится выпускной экзамен, но всё же серьезно работают, потому что они хотят эту бумажку.

Зачем вы ходите в «школу»? Чтобы получить «образование», которое завершится «дипломом». Сотрите запретные слова и все их очевидные синонимы, визуализируйте реальные детали, и вы с гораздо большей вероятностью заметите, что «школа» на данный момент, похоже, состоит из сидения рядом со скучающими подростками и прослушивания материала, который вы уже знаете; что «диплом» — это бумажка с какими-то надписями; а «образование» — это забывание материала сразу после того, как вас по нему протестировали.

Обобщения с утечкой часто проявляются через категоризацию: люди, которые действительно учатся в аудиториях, попадают под категорию «получающих образование», значит, «получать образование» — это хорошо; но тогда любой, кто просто появляется в колледже, тоже будет соответствовать понятию «получение образования», независимо от того, учится он или нет.

Ученики, которые понимают математику, будут хорошо справляться с тестами, но если вы потребуете от школ высоких результатов тестов, они будут тратить всё время на натаскивание на эти тесты. Мысленная категория, которая не вполне совпадает с вашей целью, может привести к аналогичному сбою стимулов на внутреннем уровне. Вы хотите учиться, поэтому вам нужно «образование»; и пока вы получаете хоть что-то, что подходит под категорию «образование», вы можете даже не замечать, учитесь вы на самом деле или нет. Или же вы заметите это, но не поймете, что потеряли из виду свою первоначальную цель, ведь вы «получаете образование» — а именно так вы мысленно описали свою цель.

Категоризировать — значит отбрасывать информацию. Если вам говорят, что падающее дерево издает «звук», вы не знаете, каков этот звук на самом деле; вы ведь не слышали падения дерева. Если монета падает «орлом», вы не знаете её радиальную ориентацию. Синий яйцевидный предмет может быть «блэггом», но что, если его точная яйцевидная форма варьируется, или варьируется точный оттенок синего? Вы хотите использовать категории, чтобы отбрасывать нерелевантную информацию, отсеивать золото от пыли, но часто стандартная категоризация в итоге отбрасывает и важную информацию тоже. И когда вы сталкиваетесь с подобными ментальными трудностями, первое и самое очевидное решение — сыграть в «Табу».

Например: «игра в «Табу»» — это само по себе обобщение с утечкой. Версия от Hasbro — это не рационалистический вариант; на их карточках указано всего пять дополнительных запрещённых слов, и этого совершенно недостаточно, чтобы исключить мышление привычными старыми словами. То, что делают рационалисты, подходит под категорию «играть в «Табу»» — оно соответствует этому концепту, — но далеко не всё, что считается игрой в «Табу», позволяет достичь первичного видения. Если вы просто думаете: «нужно сыграть в «Табу», чтобы достичь первичного видения», вы начнёте считать, что любое действие, подпадающее под «игру в «Табу»», обязательно считается первичным видением.

Рационалистический вариант — это не игра, а значит, здесь нельзя победить, пытаясь схитрить и обойти правила. Вам нужно играть в «Табу» с добровольным ограничением: удерживать себя от использования синонимов, которых нет на карточке. Также вы должны удерживать себя от создания новых простых слов или фраз, которые будут служить эквивалентной мысленной зацепкой для старого понятия. Вы пытаетесь приблизить карту, а не переименовать города; разыменовать указатель, а не выделять новый; видеть события непосредственно в момент их совершения, а не переписывать клише другими словами.

Представляя себе проблему более детально, вы сможете увидеть утерянную цель: что именно вы делаете, когда «играете в «Табу»»? Какой цели служит каждая отдельная деталь?

Если вы посмотрите на свои действия и ситуацию свежим взглядом, вы сможете так же свежо взглянуть и на свои цели. Если вы сможете взглянуть на себя новыми глазами, будто в первый раз, то увидите, что совершаете поступки, о которых и не подумали бы, не будь они вашей привычкой.

Цель теряется всякий раз, когда суть (обучение, знание, здоровье) вытесняется символом (диплом, балл за тест, медицинское обслуживание). Чтобы восстановить утерянную цель или исправить категоризацию с потерями, вы должны поступить наоборот:

Замените символ сутью; замените означающее означаемым; замените свойство проверкой на принадлежность; замените слово смыслом; замените ярлык концептом; замените краткое изложение деталями; замените суррогатный вопрос настоящим вопросом; разыменуйте указатель; спуститесь на более низкий уровень организации; мысленно смоделируйте процесс вместо того, чтобы давать ему имя; приблизьте карту.

«Простая истина» была написана как упражнение в этой дисциплине — как попытка описать «истину» на более низком уровне организации, не прибегая к таким терминам, как «точный», «правильный», «представлять», «отражать», «семантический», «верить», «знание», «карта» или «реальный». (И помните, что цель состоит не в том, чтобы на самом деле сыграть в «Табу» — слово «истинный» встречается в тексте, но не для того, чтобы дать определение истине. В игре от Hasbro на него среагировал бы зуммер, но мы на самом деле не играем в ту игру. Спросите себя, выполнил ли текст свою задачу, а не следовал ли он правилам.)

Сама теорема Байеса описывает «свидетельство» на языке чистой математики, без использования таких слов, как «подразумевает», «означает», «подтверждает», «доказывает» или «обосновывает». Попробуйте дать определение этим философским терминам, и вы просто будете ходить по кругу.

И наконец, есть самое важное слово, на которое стоит наложить табу. Я часто предупреждал, что с ним нужно быть осторожнее и не злоупотреблять им, а в некоторых случаях и вовсе избегать этого концепта. Теперь вы знаете истинную причину. Размышлять об этом вовсе не вредно. Но ваше настоящее понимание измеряется способностью описать, что именно вы делаете и зачем, без использования этого слова или любых его синонимов.

*