Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Активных усилий, необходимых для противостояния скатыванию в энтропию, не предпринималось, и распад последовал неизбежно.

И если вы называете это «самым маловероятным культом в истории», вы просто обзываете реальность нехорошими словами.

Пусть это станет уроком для всех нас: восхваление «рациональности» ровно ничего не значит. Даже фраза «Вы должны обосновывать свои убеждения с помощью Разума, а не просто соглашаться с Великим Вождём» всего лишь запускает автоматическую микропрограмму, которая берёт любые слова Великого Вождя и генерирует для них обоснование, которое ваши собратья-последователи сочтут Разумным.

Так где же искать истинное искусство рациональности? В изучении математического аппарата теории вероятностей и теории принятия решений. В освоении когнитивных наук — например, эволюционной психологии или эвристик и когнических искажений. В чтении книг по истории...

«Изучайте науку, а не только меня!» — пожалуй, это самый важный совет, который Айн Рэнд должна была дать своим последователям, но не дала. В истории человечества не было никого, чьи плечи оказались бы достаточно широки, чтобы выдержать весь вес настоящей науки, создаваемой усилиями множества людей.

На мой взгляд, примечательно, что вымышленные герои Айн Рэнд были архитекторами и инженерами, а её абсолютный идеал, Джон Голт, — физиком, однако сама Айн Рэнд великим учёным не была. Насколько мне известно, она не была сильна в математике. Она не могла даже надеяться сравниться с собственными героями. Возможно, поэтому она и начала терять волю к дальнейшему самосовершенствованию.

Я вот, знаете ли, восхищаюсь дерзостью Фрэнсиса Бэкона, но всё же могу смущённо признаться: «Если бы я мог отправиться в прошлое и как-то объяснить Фрэнсису Бэкону проблему, над которой работаю прямо сейчас, его глаза вылетели бы из глазниц, точно пробки от шампанского, и взорвались».

Я восхищаюсь достижениями Ньютона. Но моё отношение к избирательному праву женщин не позволяет мне считать его образцом нравственности. Точно так же моё знание байесовской вероятности мешает мне видеть в Ньютоне абсолютный и непревзойдённый источник математических знаний. И моё знание специальной теории относительности — пусть даже скудное и редко используемое — мешает мне признать Ньютона истиной в последней инстанции в вопросах физики.

Объективно говоря, Ньютон никак не мог открыть те идеи, которыми я теперь над ним превозношусь, — но прогресс несправедлив! В этом-то всё и дело!

У науки есть герои, но нет богов. Великие Имена — не наши начальники и даже не соперники, они лишь пройденные вехи на нашем пути. И самая важная веха — это герой, который ещё только должен прийти.

Стать ещё одной вехой на пути человечества — лучшее, что можно сказать о ком бы то ни было; но Айн Рэнд это казалось слишком мелким, чтобы её удовлетворить. Вот так она и стала всего лишь Абсолютным Пророком.

*

1. Майкл Шермер, «Самый маловероятный культ в истории», Skeptic 2, № 2 (1993): 74–81, http://www.2think.org/02_2_she.shtml.

116. Два коана о сектах.

Один начинающий рационалист, учившийся у мастера Оуги, получил упрек от друга, который сказал: «Ты проводишь всё это время, слушая своего мастера и твердя «рационально то, рационально сё» — да ты же попал в секту!»

Новичок был глубоко встревожен; этой ночью, когда он лежал в постели, и даже во сне у него в ушах звучали слова: «Ты попал в секту!»

На следующий день новичок подошел к Оуги, рассказал о случившемся и сказал: «Мастер, меня постоянно гложет тревога, что всё это на самом деле секта, а ваше учение — лишь догма».

Оуги ответил: «Если ты найдешь на дороге молоток и продашь его, ты можешь попросить за него низкую цену или высокую. Но если ты оставишь молоток себе и станешь забивать им гвозди, кто усомнится в его ценности?»

Новичок сказал: «Вот-вот, именно об этом я и беспокоюсь — о ваших таинственных дзенских ответах».

Оуги сказал: «Хорошо, тогда я буду говорить яснее и изложу совершенно разумные доводы, которые докажут, что ты не попал в секту. Но сначала ты должен надеть эту дурацкую шляпу».

Оуги протянул новичку огромную коричневую ковбойскую шляпу.

«Э-э, мастер...» — произнес новичок.

«Когда я тебе всё объясню, — сказал Оуги, — ты поймешь, почему это было необходимо. В противном случае ты можешь и дальше лежать без сна по ночам, гадая, не секта ли это».

Новичок надел ковбойскую шляпу.

Оуги сказал: «Сколько ещё ты будешь повторять мои слова и игнорировать их смысл? Сумбурные мысли начинаются с привязанности к желаемым выводам. Ты слишком печешься о своем образе рационалиста. Ты пришел ко мне за утешением. Если бы тебе было действительно любопытно и ты не склонялся ни к тому, ни к другому варианту, ты бы придумал способы разрешить свои сомнения. Поскольку тебе было необходимо устранить когнитивный диссонанс, ты согласился надеть дурацкую шляпу. Будь я злым человеком, я мог бы заставить тебя заплатить сто серебряных монет. Когда ты концентрируешься на вопросе из реального мира, ценность или никчемность твоего понимания быстро становится очевидной. Ты подобен мечнику, который то и дело оглядывается, чтобы посмотреть, не смеется ли кто-то над ним...»

«Ладно», — сказал новичок.

«Ты сам просил подробную версию», — сказал Оуги.

Этот новичок впоследствии занял место Оуги и стал известен как Ни но Тати. С тех пор он запрещал своим ученикам цитировать его слова в спорах, говоря: «Используйте техники и не упоминайте их».

Один начинающий рационалист подошел к мастеру Оуги и сказал: «Мастер, я беспокоюсь, что наше додзё рациональности... ну... немного похоже на секту».

«Это серьезное опасение», — сказал Оуги.

Новичок немного подождал, но Оуги больше ничего не сказал.

Тогда новичок заговорил снова: «Я имею в виду, простите, но эта необходимость носить мантии и капюшон... Мы как будто какие-то чертовы масоны».

«А-а, — сказал Оуги, — мантии и атрибутика».

«Ну, да, мантии и атрибутика, — сказал новичок. — Это просто кажется ужасно нерациональным».

«Я отвечу на все твои опасения, — сказал мастер, — но сначала ты должен надеть эту дурацкую шляпу». И Оуги достал колпак волшебника, расшитый полумесяцами и звездами.

Новичок взял шляпу, посмотрел на нее и в сердцах воскликнул: «Да как это вообще может помочь?»

«Раз уж тебя так волнует связь одежды с теорией вероятностей, — сказал Оуги, — тебя не должно удивлять, что для понимания тебе нужно надеть специальную шляпу».

Когда этот новичок достиг ранга аспиранта, он