Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

общении с большинством других христиан, заключается в следующем, что где-то по пути мое мировоззрение совершило резкий скачок в сторону от слепой веры и оказалось где-то в районе оруэлловского двоемыслия.

«Если вы знаете, что это двоемыслие...

...как вы можете по-прежнему в это верить?» — беспомощно хочется мне сказать.

Или:

Я решил поверить в существование Бога — намеренно и осознанно. Это решение, однако, ровно никак не влияет на фактическое существование Бога.

Если вы знаете, что ваша вера не коррелирует с реальностью, как вы можете продолжать в нее верить?

Разве интуитивное осознание: «Ой, погодите, небо ведь и правда не зеленое» не должно следовать из осознания «У моей карты, утверждающей, что "небо зеленое", нет причин коррелировать с территорией»?

Что ж... по всей видимости, нет.

Частью разгадки этой головоломки может быть мое объяснение парадокса Мура («Идет дождь, но я не верю в это»): люди при самоанализе ошибочно принимают положительные эмоции, связанные с цитируемым убеждением, за реальную веру.

Но другая ее часть может заключаться в том, что — вопреки возмущению, которое я поначалу хотел выразить, — на самом деле довольно легко не совершать переход от «Карта, отражающая территорию, показывала бы "X"» к реальной вере в «X». Требуется немало усилий, чтобы объяснить представление о разуме как о системе, выстраивающей соответствие между картой и территорией, и даже тогда может потребоваться еще больше усилий, чтобы прочувствовать все следствия на уровне нутра.

Теперь я понимаю, что, когда писал: «Вы не можете усилием воли заставить себя поверить, что небо зеленое», я не просто бесстрастно фиксировал факты. Я также пытался запустить самоисполняющееся пророчество.

Возможно, разумно ходить и намеренно повторять: «Мне не сойдет с рук двоемыслие! В глубине души я буду знать, что это неправда! Если я знаю, что у моей карты нет причин коррелировать с территорией, значит, я в это не верю!»

Потому что в таком случае — если у вас когда-нибудь возникнет искушение попробовать — мысли «Но я же знаю, что это неправда!» и «Я не смогу себя обмануть!» всегда будут легко приходить на ум; и так у вас действительно будет меньше шансов успешно обмануть себя. Вы с большей вероятностью поймете на уровне нутра, что то, что вы говорите себе «X», не делает «X» истиной, а значит, на самом деле верно не-X.

Если вы будете постоянно повторять себе, что не можете просто сознательно решить поверить, будто небо зеленое, — тогда у вас будет меньше шансов преуспеть в самообмане на том или ином уровне; будь то в смысле искренней веры или впадения в парадокс Мура, веру в веру или веру в самообман.

Если вы будете постоянно повторять себе, что в глубине души будете знать —

Если вы будете постоянно повторять себе, что стоит вам только взглянуть на свою искусно выстроенную ложную карту, как вы сразу поймете, что она ложная и никак не коррелирует с территорией, и поэтому, несмотря на всю сложность ее построения, вы не сможете проникнуться к ней доверием —

Если вы будете постоянно повторять себе, что рефлексивная согласованность возьмет верх и заставит вас перестать верить на объектном уровне, как только на метауровне вы осознаете, что карта ничего не отражает, —

Тогда, когда дойдёт до дела, у вас, возможно, и вправду ничего не получится.

Когда речь заходит о намеренном самообмане, вы должны верить в собственную неспособность!

Внушайте себе, что эта попытка обречена, — и так оно и будет!

Сила ли это позитивного мышления или сила негативного? В любом случае, это кажется разумной мерой предосторожности.

*

Часть I. Свежий взгляд.

87. Привязка и корректировка.

Представьте, что на ваших глазах я раскручиваю «Колесо фортуны», и стрелка останавливается на числе 65. Затем я спрашиваю: «Как вы думаете, доля африканских стран в ООН больше или меньше этого числа?» и «Какова, по-вашему, доля африканских стран в ООН?» Если хотите, уделите минуту, чтобы обдумать эти два вопроса самостоятельно, и, пожалуйста, не гуглите.

Кроме того, попробуйте угадать за пять секунд значение следующего арифметического выражения. Пять секунд. На старт... Внимание... Марш!

1 × 2 × 3 × 4 × 5 × 6 × 7 × 8

Тверски и Канеман фиксировали ответы испытуемых, которым на «Колесе фортуны» выпадали разные числа.1 Медианная оценка испытуемых, видевших число 65, составила 45%, а тех, кто видел число 10, — 25%.

Согласно преобладающей теории, объясняющей этот и подобные эксперименты, испытуемые берут исходное неинформативное число в качестве отправной точки, или якоря, а затем корректируют его в большую или меньшую сторону, пока не доберутся до ответа, который «звучит правдоподобно», после чего прекращают корректировку. Обычно это приводит к недостаточной корректировке относительно якоря: более далекие числа тоже могли бы оказаться «правдоподобными», но человек останавливается на первом же варианте, который кажется ему удовлетворительным.

Сходным образом студенты, которым показывали «1 × 2 × 3 × 4 × 5 × 6 × 7 × 8», давали медианную оценку 512, в то время как студенты, видевшие «8 × 7 × 6 × 5 × 4 × 3 × 2 × 1», давали медианную оценку 2250. Исходная гипотеза состояла в том, что студенты попытаются перемножить (или прикинуть в уме произведение) первых нескольких сомножителей, а затем скорректировать результат в сторону увеличения. В обоих случаях корректировка была недостаточной по сравнению с истинным значением 40 320, но первая группа ответов оказалась гораздо сильнее занижена, поскольку отталкивалась от меньшего якоря.

Тверски и Канеман отмечают, что обещание вознаграждения за точность не снизило эффект привязки.

Штрак и Муссвайлер спрашивали у испытуемых год, когда Эйнштейн впервые посетил США.2 Совершенно неправдоподобные якоря, вроде 1215 или 1992 годов, вызывали столь же сильный эффект привязки, что и более правдоподобные, вроде 1905 или 1939 годов.

Этому эффекту можно легко найти применение, скажем, в переговорах о зарплате или при покупке машины. Я не предлагаю вам использовать его в своих интересах, но остерегайтесь тех, кто им пользуется.

И наблюдайте за ходом своих мыслей, стараясь замечать моменты, когда вы корректируете какую-то величину в поисках оценки.

Способы борьбы с эффектом привязки в целом оказались не слишком эффективными. Я бы предложил следующие два: во-первых, если первоначальная догадка кажется неправдоподобной, постарайтесь полностью отбросить её и дать новую оценку с нуля,