Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

пользу человечеству. Ученые — люди, и у них, как и у большинства других людей, есть просоциальные устремления; и в этом кроется по меньшей мере часть причин, почему наука в конечном счете приносит больше добра, чем зла.

Но этот аргумент, очевидно, не бесспорен. Так что вот вам более простое ложное приятное утверждение: «Больного раком можно вылечить, просто опубликовав достаточно статей в научных журналах». Или: «Социопаты могли бы стать абсолютно нормальными людьми, если бы просто пообещали себе никогда ни во что не верить без воспроизводимых экспериментальных доказательств с уровнем значимости p < 0,05».

Способ не верить в подобные заявления — это не введение эмоционального лимита, когда вы решаете, что наука хороша лишь слегка. И не поиск причин поверить, что публикация статей в научных журналах вызывает рак. И не вера в то, что науке так или иначе вообще нечего сказать о раке.

Напротив, если вы достаточно конкретно представляете себе, как работает наука, то понимаете: хотя в принципе и возможно, что «наука вылечит рак», больной раком не добьется чудесной ремиссии, просто сочиняя статьи в журналы. Эта конкретная предложенная причинно-следственная цепочка работать не будет.

Счастливая спираль смерти становится эмоциональной проблемой лишь из-за когнитивного искажения — эффекта ореола, который заставляет нас охотнее соглашаться с последующими позитивными утверждениями, стоит нам принять первое из них. Мы не можем избавиться от этого эффекта по щелчку пальцев; скорее всего, он всегда будет хоть немного на нас влиять. Но мы в силах замедлиться, остановиться, отнестись к каждому очередному приятному заявлению как к еще одной обременительной детали и сосредоточиться на конкретной сути утверждения, отбросив его привлекательность.

Что если конкретное приятное утверждение «нельзя опровергнуть», но при этом есть аргументы «и за, и против»? Вообще-то, к этим формулировкам стоит относиться с осторожностью: часто люди прибегают к ним, когда бесконечно перебирают доказательства или избегают по-настоящему слабых мест. Учитывая опасность счастливой спирали смерти, разумно стараться не радоваться недоказанным утверждениям — не делать их источником еще больших положительных эмоций по поводу того, что вам и так нравится.

Счастливая спираль смерти становится серьезной эмоциональной проблемой лишь из-за избыточной положительной обратной связи — способности процесса переходить в критическую фазу. Возможно, вам не удастся полностью устранить эффект ореола, но вы можете применить достаточно критического мышления, чтобы удерживать эти ореолы в докритическом состоянии — следить, чтобы резонанс затухал, а не приводил к взрыву.

Можно даже сказать, что вся проблема берет начало в тот момент, когда люди, приняв некую базовую посылку, больше не утруждают себя критическим разбором каждой дополнительной обременительной детали — не требуют весомых доказательств, чтобы компенсировать усложнение картины, не ищут изъяны наряду с подтверждениями и не включают любопытство. Без ошибки конъюнкции эффект ореола всё равно мог бы существовать, но счастливой спирали смерти бы не возникло.

Даже в отношении самых приятных Приятных Штук во всей известной Вселенной идеальный рационалист, требующий ровно столько доказательств, сколько необходимо для подтверждения каждого последующего (позитивного) заявления, не испытывал бы аффективного резонанса. Вы так не сможете, но вы можете оставаться достаточно рациональными, чтобы не дать своей радости выйти из-под контроля и закрутиться по спирали.

По-настоящему опасны ситуации, когда любая критика любого позитивного утверждения о Великой Штуке воспринимается болезненно или считается социально неприемлемой. Аргументы — это солдаты, любое позитивное утверждение — боец на нашей стороне, а удар в спину собственным солдатам — это измена. В таких условиях цепная реакция становится сверхкритической. Подробнее об этом позже.

Стюарт Армстронг дает очень близкий к этому совет:

Разбейте свою Великую Штуку на более мелкие независимые идеи и относитесь к ним как к независимым.

Например, марксист мог бы разобрать Великую Штуку Маркса на трудовую теорию стоимости, теорию политических отношений между классами, теорию заработной платы и теорию о конечном политическом устройстве человечества. Каждую из них следовало бы оценивать независимо, и истинность или ложность одной теории не должна создавать ореол вокруг других. Если нам это удастся, мы убережемся от спирали, ведь каждая теория в отдельности слишком узка, чтобы запустить этот процесс сама по себе.

Метафорически это похоже на то, как не дают соединиться докритическим массам плутония. Три Великие Идеи гораздо менее вероятно сведут вас с ума, чем одна Великая Идея. Совет Армстронга также помогает мыслить конкретнее: как только кто-то заявляет: «Публикация достаточного количества статей может вылечить рак», вы спрашиваете: «Это преимущество экспериментального метода, и если да, то на каком этапе экспериментального процесса рак излечивается? Или это преимущество науки как социального процесса, и если да, опирается ли оно на искреннее желание ученых победить болезнь, или они могут преследовать собственные интересы?» В идеале это уводит вас от хороших или плохих эмоций в сторону обнаружения путаницы и нехватки обоснований.

Подводя итог, вы действительно избегаете счастливой спирали смерти, если:

разбиваете Великую Идею на части;

относитесь к каждой дополнительной детали как к обременительной;

размышляете о конкретных звеньях причинно-следственной связи, а не о хороших или плохих эмоциях;

не прокручиваете бесконечно доказательства в голове; и

не подпитываете радость утверждениями, неверность которых «нельзя доказать»;

но не тем, что:

отказываетесь слишком сильно чем-то восхищаться;

ведете предвзятый поиск негативных моментов, пока снова не почувствуете себя несчастным; или

насильно запихиваете идею в безопасный ящик.

*

108. Некритическая сверхкритичность.

Время от времени можно увидеть, как люди спорят о том, является ли атеизм «религией». Как я упоминаю в другом месте, в «Цели и прагматизме», спор о значении слова почти всегда означает, что вы упустили из виду исходный вопрос. С чего вообще может начаться такой спор?

Атеист разглагольствует, обвиняя «религию» в инквизиции, крестовых походах и различных конфликтах с исламом или внутри него. Верующий может ответить: «Но атеизм — это тоже религия, ведь у вас тоже есть убеждения о Боге; вы верите, что Бога нет». Тогда атеист парирует: «Если атеизм — это религия, то неколлекционирование марок — это хобби», и спор разгорается.

Или верующий может возразить: «Но не меньшие ужасы творил Сталин, который был атеистом и закрывал церкви во имя атеизма; следовательно, вы неправы, возлагая вину за насилие на религию». Тут у атеиста может возникнуть искушение ответить уловкой «Ни один истинный шотландец», заявив: «Религией Сталина был коммунизм». Верующий на это отвечает: «Если коммунизм — это религия, то фэндом „Звёздных войн“ — это правительство», и спор разгорается.

Стоит ли определять «религиозного» человека