Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Дело в том, что хотя вы не можете просто взять и поверить, будто небо зелёное, — если вы не осознаёте этого факта, вы на самом деле можете обмануть себя, поверив, будто успешно себя обманули.

И поскольку после этого вы искренне ожидаете получить пользу, которую, по вашему мнению, приносит самообман, вы получаете тот же самый плацебо-эффект, какой получили бы от настоящего успешного самообмана.

Так что, разъясняя повсюду, насколько труден самообман, я на самом деле целюсь прямо в плацебо-эффект, который люди получают от веры в то, будто они себя обманули, и атакую новую разновидность религии, которая поклоняется исключительно самому поклонению Богу.

Интересно, породит ли эта битва новый список причин, почему не вера, а вера в веру сама по себе является благом? Почему люди извлекают огромную пользу из поклонения собственному поклонению? Неужели нам придётся повторить всё это с верой в веру в веру и поклонением поклонению поклонения? Или разумные теисты наконец просто откажутся от этой линии аргументации?

Хотелось бы мне верить, что никто не способен верить в веру в веру в веру, но аргумент о мире зомби в философии запутался ещё сильнее, а его сторонники до сих пор от него не отказались.

*

1. Людвиг Витгенштейн, «Философские исследования», пер. Гертруды Э. М. Энскомб (Oxford: Blackwell, 1953).

2. Терри Пратчетт, «Маскарад», цикл «Плоский мир» (ISIS, 1997).

85. Парадокс Мура.

Парадокс Мура — это стандартный термин для высказывания типа «На улице идет дождь, но я в это не верю». Снимаю шляпу перед painquale с MetaFilter.

Мне кажется, теперь я понимаю парадокс Мура немного лучше, после того как почитал комментарии на Less Wrong. Jimrandomh предполагает:

Многие люди не умеют различать уровни косвенности. Для них «я верю в X» и «X» — это одно и то же, и поэтому причины, по которым полезно верить в X, одновременно являются для них причинами считать, что X истинно.

Я не думаю, что это верно: даже сравнительно маленькие дети способны понять концепцию ложного убеждения, а это требует отдельных ментальных корзин для карты и территории. Но это указывает в направлении похожей идеи:

Многие люди, возможно, сознательно не отличают веру во что-то от одобрения этого.

В конце концов, выражение «я верю в демократию» в разговорной речи означает, что вы одобряете саму концепцию демократии, а не то, что вы верите в существование демократии. Следовательно, у слова «вера» есть несколько значений. Возможно, мы имеем дело с запутанным словом, которое порождает запутанное мышление (или, может быть, оно просто отражает уже существовавшую путаницу).

Итак: в исходном примере «Я верю, что люди лучше, чем они есть на самом деле», она придумала несколько причин, почему было бы хорошо верить в то, что люди хорошие — польза для здоровья и всё такое, — и поскольку теперь у неё возникли тёплые чувства к «вере в то, что люди хорошие», она заглянула в себя, обнаружила этот тёплый отклик и сделала вывод: «Я верю, что люди хорошие». То есть она приняла положительный аффект, связанный с закавыченным убеждением, за признак своей веры в само суждение. В то же время реальный мир показывал, что люди не так уж хороши. И поэтому она сказала: «Я верю, что люди лучше, чем они есть на самом деле».

И это граничит с добросовестным заблуждением — в каком-то смысле, — поскольку людей никто явно не учит тому, как понять, когда они во что-то действительно верят. Как в притче о драконе в гараже: тот, кто говорит «В моём гараже есть дракон, просто он невидимый», не осознаёт, что его ожидание не увидеть дракона указывает на наличие у него (точной) модели, в которой никакого дракона нет.

Людей никто специально не обучает распознавать, когда они во что-то верят. В старших классах им никто не объясняет: «Каково это — действительно верить во что-то, иметь это утверждение в своём наборе убеждений? Это ощущается так, будто мир просто именно так и устроен. Вы должны распознавать это ощущение, которое и является настоящей (незакавыченной) верой, и отличать его от приятных чувств по поводу убеждения, которое вы осознаёте именно как убеждение (что означает, что оно находится в кавычках)».

Благодаря этому данный реальный пример парадокса Мура выглядит уже не столь чуждым и проясняется ещё один механизм, позволяющий людям быть одновременно правыми и неправыми.

То же самое относится к Kurige, который написал:

Я верю, что Бог есть и что Он заложил в нас чувство правильного и неправильного, с помощью которого мы способны оценивать окружающий мир. Я также верю, что чувство морали было запрограммировано в нас эволюционно — чувство морали, которое, скорее всего, является результатом формирования метаполитических коалиций в сообществах бонобо очень, очень давно. Эти два убеждения не противоречат друг другу, но сложность заключается в том, чтобы их примирить.

Подозреваю, Kurige, вы решили, что у вас есть причины одобрять закавыченное убеждение о том, что Бог заложил в нас чувство правильного и неправильного. А также что у вас есть причины одобрять вердикт науки. Похоже, к обоим этим сообществам приятно примкнуть, верно? У обоих наборов убеждений есть свои плюсы? Вы заглядываете в себя и обнаруживаете, что испытываете хорошие чувства по отношению к обоим убеждениям?

Но вы не сказали:

«Бог заложил в нас чувство правильного и неправильного, а также чувство морали было запрограммировано в нас эволюционно. Эти два положения дел в реальности не противоречат друг другу, но сложность заключается в том, чтобы их примирить».

Если вы читаете это, Kurige, вам стоит прямо сейчас быстро произнести это вслух, чтобы заметить, что принять такое утверждение хотя бы чуточку сложнее — обратите внимание на субъективную разницу, — прежде чем вы броситесь заниматься перерационализацией.

В этом и заключается субъективная разница между наличием причин одобрять два разных убеждения и вашей ментальной моделью единого мира, единого устройства вещей.

*

86. Не верьте, что сможете обмануть себя.

Не хочу, чтобы казалось, будто я придираюсь к Куриге, но, думаю, стоит ожидать определенной доли расспросов, если вы приходите на Less Wrong и заявляете:

Кое-что из того, что я осознал и что помогает объяснить пропасть, которую я ощущаю при