Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«Это прекрасная мысль, — сказал я, — и даже если когда-нибудь над вами перестанет висеть угроза смерти, надеюсь, вы продолжите так делать…»

Впоследствии эта женщина была одной из тех, кто назвал меня глубоким.

В другой момент дискуссии мужчина заговорил о неком преимуществе смерти X — не помню точно, о каком именно. И я сказал: «Знаете, учитывая человеческую природу, если бы людей каждую неделю били бейсбольной битой по голове, довольно скоро они придумали бы причины, почему получать бейсбольной битой по голове — это здорово. Но если бы вы взяли кого-то, кого битой по голове не бьют, и спросили, хочет ли он этого, он ответил бы «нет». Думаю, если бы вы взяли кого-то бессмертного и спросили, хочет ли он умереть ради преимущества X, он ответил бы «нет»».

Впоследствии этот мужчина тоже назвал меня глубоким.

Корреляция не означает причинно-следственной связи. Возможно, в тот день я просто говорил глубоким голосом, оттого и казался мудрым.

Но я подозреваю, что показался «глубоким» потому, что связно нарушил закешированный шаблон «глубокой мудрости» — причем сделал это так, что смысл был понятен сразу.

Существует стереотип Глубокой Мудрости. Смерть. Завершите шаблон: «Смерть придает жизни смысл». Все знают этот стандартный Глубоко Мудрый ответ. И потому он приобретает некоторые свойства табло «Аплодисменты». Если вы произнесёте его, люди начнут кивать, потому что мозг достраивает шаблон, и они знают, что кивать — положено. Они могут даже сказать: «Какая глубокая мудрость!», возможно, в надежде, что их самих тоже сочтут глубокими. Но они не будут удивлены; они не услышат ничего нестандартного; они не услышат ничего такого, до чего не могли бы додуматься сами. Это можно назвать «верой в мудрость»: мысль маркируется как «глубоко мудрая», она представляет собой завершенный стандартный шаблон «глубокой мудрости», но в ней нет переживания инсайта.

Люди, которые пытаются казаться Глубоко Мудрыми, часто в итоге кажутся пустыми, точно гулкое эхо, потому что они пытаются казаться Глубоко Мудрыми вместо того, чтобы заниматься оптимизацией.

Много ли мне пришлось думать, чтобы показаться глубоким? Человеческий мозг работает на частоте всего около 100 Гц, а я отвечал в режиме реального времени, так что бо́льшая часть работы, должно быть, была просчитана заранее. Единственное, что потребовало от меня усилий, — это выбор ответа, который был бы понятен всего за один шаг логического вывода, и его формулировка для максимального эффекта.

С философской точки зрения почти вся работа уже была проделана. Завершите шаблон: Существующее положение дел X на самом деле оправдано, потому что у него есть преимущество Y. «Натуралистическая ошибка?» / «Систематическая ошибка статус-кво?» / «Можем ли мы получить Y без X?» / «Если бы мы никогда раньше не слышали об X, согласились ли бы мы добровольно принять его ради Y?» Думаю, будет справедливо сказать, что я воспроизвожу эти мысленные шаблоны с той же степенью автоматизма, с какой дышу. В конце концов, бо́льшая часть человеческого мышления должна сводиться к поиску в кэше, если мы хотим, чтобы мозг вообще работал.

К тому же я уже придерживался развитой философии трансгуманизма. У трансгуманизма тоже есть закешированные мысли о смерти. Смерть. Завершите шаблон: «Смерть — это бессмысленная трагедия, которую люди рационализируют». Это был нестандартный кэш, незнакомый моим слушателям. У меня было несколько возможностей использовать нестандартный кэш, и поскольку все эти мысли были частью развитой философии трансгуманизма, они явно укладывались в одну тему. Это помогло мне показаться не только оригинальным, но и последовательным.

Полагаю, в этом кроется одна из причин, почему восточная философия кажется западным людям глубокой: у неё есть нестандартный, но последовательный кэш для Глубокой Мудрости. Симметрично в японских художественных произведениях порой можно встретить христиан, изображенных как хранители глубокой мудрости и/или мистических тайн. (А порой — нет.)

Если мне не изменяет память, один экономист как-то заметил, что широкая публика настолько не знакома с базовой экономикой, что во время выступлений на телевидении ему достаточно было просто пересказать вводный курс экономики, чтобы показаться потрясающе оригинальным мыслителем.

Решающую роль играло и то, что мои слушатели могли сразу же понять, что в моём ответе есть смысл. Они могли соглашаться или не соглашаться с этой мыслью, но она не казалась им полной бессмыслицей. Я знаю трансгуманистов, которые не могут казаться глубокими из-за того, что неспособны понять, чего именно их слушатель ещё не знает. Если вы хотите казаться глубоким, никогда не говорите ничего, что отдалено более чем на один шаг инференционной дистанции от текущего ментального состояния вашего слушателя. Так уж это устроено.

Чтобы казаться глубоким, изучайте нестандартные философии. Ищите дискуссии на темы, которые дадут вам шанс показаться глубоким. Обдумывайте философские вопросы заранее, чтобы иметь возможность сосредоточиться на том, как лучше их объяснить. И главное — тренируйтесь не выходить за рамки одного шага инференционной дистанции.

Чтобы быть глубоким, думайте самостоятельно о «мудрых», важных или эмоционально напряжённых темах. Думать самостоятельно — не то же самое, что придумывать необычные ответы. Это означает видеть всё самому, а не позволять своему мозгу просто завершать шаблон. Если вы не остановитесь на первом же ответе и будете отбрасывать варианты, которые кажутся смутно неудовлетворительными, со временем ваши мысли сложатся в связное целое, исходящее из вас самих как из единого источника, а не останутся обрывочными повторениями чужих выводов.

*

97. Мы меняем свое мнение реже, чем нам кажется.

За последние несколько лет мы ненавязчиво обращались к коллегам, стоявшим перед выбором между предложениями о работе, и просили их оценить вероятность того, что они выберут то или иное предложение. Средняя уверенность в предсказанном выборе составляла скромные 66%, но лишь 1 из 24 респондентов выбрал вариант, которому изначально приписывал меньшую вероятность, что дает общую точность предсказания в 96%.

— Дейл Гриффин и Амос Тверски1

Когда я впервые прочитал эти слова — 1 августа 2003 года, примерно в три часа дня, — это изменило мой образ мыслей. Я понял: стоит мне только предположить, каким будет мой ответ, — стоит мне только счесть одно решение более вероятным, чем другое, — как я, по всей видимости, уже принял решение. Мы меняем свое мнение реже, чем нам кажется. И в