Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

способные понять, что какая-то задача вам действительно под силу, стоит лишь немного поднять мотивацию, и при этом не доводящие вас до выгорания и не делающие вашу жизнь невыносимой — вот под чьим руководством работать одно удовольствие. Такая способность — огромная редкость, и обладающие ею начальники ценятся на вес серебра. Это высококлассный навык межличностного общения, которым большинство людей не владеет. У меня его точно нет. Не думайте, будто у вас он есть, только потому, что у вас благие намерения. Не думайте, будто у вас он есть, потому что вы никогда не сделали бы другим того, чего не желаете себе. Не думайте, будто у вас он есть, потому что на вас никто никогда не жаловался. Возможно, они просто боятся. Тот рационалист, о котором я говорил — не считавший, что обладает властью и представляет угрозу, хотя для меня это было вполне очевидно, — даже не понимал, что его кто-то может бояться.

Будьте осторожны, даже когда у вас есть рычаг влияния, когда от вас зависит важное решение, или угроза, или то, в чём другой человек отчаянно нуждается, и внезапно соблазн оптимизировать его становится непреодолимым.

Подумайте, к примеру, о том, что всю эпоху террора, устроенную Айн Рэнд среди объективистов, можно рассматривать именно в этом ключе: она оказалась в позиции силы, обладая рычагами влияния, и просто не смогла устоять перед искушением всех оптимизировать.

Мы недооцениваем дистанцию между собой и другими людьми. Не только инференциальную дистанцию, но и дистанцию темпераментов и способностей, дистанцию ситуаций и ресурсов, дистанцию невысказанных знаний, незаметных навыков и удачи, дистанцию внутренних ландшафтов.

Даже я часто удивляюсь, обнаружив, что некий X, так здорово сработавший для меня, не работает для кого-то другого. Но поскольку меня самого пытались оптимизировать слишком многие, я хотя бы способен разглядеть эту дистанцию, когда меня ею бьют по голове.

Возможно, когда на вас давят, это и правда работает... для вас. Возможно, вас не тошнит, когда кто-то, имеющий над вами власть, начинает заботливо перестраивать вашу жизнь правильным образом. Я не знаю, как вы устроены. В сфере силы воли, акразии и продуктивности, как и в других областях, я не знаю обобщений, которые были бы достаточно глубокими, чтобы оставаться верными почти всегда. У меня нет глубинных ключей, которые подсказали бы мне, когда, почему и для кого методика работает или не работает. Всё, что я могу — это быть готовым поверить на слово, когда мне говорят, что это не работает... и продолжать искать более глубокие обобщения, которые будут верны везде, более глубокие законы, управляющие и правилом, и исключением, которые ждут своего часа, чтобы когда-нибудь быть открытыми.

*

331. Практические советы, подкрепленные глубокими теориями.

Однажды Сет Робертс отправился в отпуск в Европу и обнаружил, что начал худеть, когда пил калорийные фруктовые соки с непривычным вкусом.

Теперь предположим, что Робертс ничего не знал — и так никогда и не узнал бы — об установочных точках метаболизма или о вкусо-калорийных ассоциациях: обо всех этих заумных научно-экспериментальных исследованиях, которые проводились на крысах и изредка на людях.

Он бы написал в своем блоге: «Ребята, обалдеть! Вы должны попробовать эти потрясающие фруктовые соки, от которых я худею!» И на этом бы всё и закончилось. Кто-то бы попробовал, для кого-то это сработало бы временно (пока не включилась бы вкусо-калорийная ассоциация), и никакой диеты Шангри-Ла как таковой никогда бы не появилось.

Существующая диета Шангри-Ла явно неполна: для некоторых людей, вроде меня, она, похоже, не работает, и для этого нет ни видимых причин, ни допускающей это логики. Но причина, по которой она помогла столь многим людям, — причина, по которой всё не ограничилось очередным постом в блоге с описанием трюка, сработавшего для одного человека и бесполезного для всех остальных, — заключается в том, что Робертс знал экспериментальную науку, которая позволила ему истолковать увиденное через призму глубоких, реально существующих факторов.

Одним из советов на Overcoming Bias / Less Wrong, который чаще всего называли самым важным из усвоенного, была идея о «нижней строке»: как только вывод записан в вашем разуме, он уже либо истинен, либо ложен, уже либо умен, либо глуп, и никакие последующие аргументы не могут этого изменить, кроме как путем изменения самого вывода. И это напрямую связано с другой часто упоминаемой важнейшей вещью — идеей «двигателей познания», разума как картографирующего механизма, которому в качестве топлива требуются свидетельства.

Представьте, что я просто опубликовал бы еще один пост в духе: «Знаете, вам действительно стоит быть более открытыми к изменению своего мнения — это довольно важно, — ну и да, обращайте внимание на свидетельства». Это принесло бы гораздо меньше пользы. И не только потому, что это звучало бы менее убедительно, а потому, что конкретные действия были бы гораздо менее понятны без подкрепляющей их явной теории. Что, например, представляет собой свидетельство? Любая вещь, похожая на убедительный аргумент? Наличие четкой теории вероятностей и четкого причинно-следственного объяснения того, что делает мышление эффективным, оказывает огромное влияние на убедительность и детали практического применения старого совета «Будьте открыты новому и обращайте внимание на свидетельства».

Также важно понимать, что причинно-следственные теории гораздо с большей вероятностью окажутся верными, если они взяты из научного учебника, а не придуманы на ходу. Очень легко выдумать когнитивные структуры, которые выглядят как причинно-следственные теории, но при этом даже не управляют нашими ожиданиями, не говоря уже о том, чтобы быть истинными.

Это и есть фирменный стиль, который я хочу передать через все те эссе, где эксперименты когнитивистики, теория вероятностей и эпистемология переплетались с практическими советами. Суть в том, что практические рекомендации становятся практически более мощными, если вы пойдёте и почитаете об экспериментах в когнитивных науках, о теории вероятностей или даже о материалистической эпистемологии и поймёте, что именно вы видите. Именно этот бренд может отличить Less Wrong от десятков тысяч других блогов, претендующих на то, чтобы давать советы.

Я мог бы сказать вам: «Знаете, ваше удовлетворение от еды, вероятно, больше зависит от её качества, чем от съеденного количества». Вы бы прочитали это и забыли, а импульс прикончить целую тарелку остался бы столь же сильным. Но если я расскажу вам о нечувствительности к масштабу, пренебрежении длительностью и правиле «пика и конца», вы вдруг совершенно отчетливо осознаете, глядя на свою тарелку, что у вас сформируется