Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Нет, суть в том, что роман рационалиста с Истиной как эмоциональная связь, ну, просто устроен сложнее.

Никто не становится искусным рационалистом, если его не заботит истина — как в качестве чисто морального ориентира, так и в качестве чего-то, чем приятно обладать. Сомневаюсь, что найдется много выдающихся композиторов, которые ненавидят музыку.

Но отчасти мне нравится в рациональности именно дисциплина, налагаемая требованием, чтобы убеждения давали предсказания. В итоге это подводит нас к истине гораздо ближе, чем если бы мы целыми днями сидели в гостиной, зациклившись на Истине. Мне нравится сложность необходимости одновременно любить идеи, кажущиеся истинными, и в то же время быть готовым в любой момент выбросить их в окно. Мне даже нравится великолепная эстетическая чистота заявления о том, что я ценю простую пользу выше эстетики. В этом есть почти противоречие, но не совсем; и в этом тоже есть своя эстетика, восхитительный юмор.

И конечно, сколько бы вы ни заявляли о своей любви к простой полезности, вы никогда не должны на самом деле прийти к тому, чтобы намеренно верить в полезное, но ложное утверждение.

Так что не упрощайте связь между любовью к истине и любовью к пользе. Это не выбор «или — или». Всё сложно, что вовсе не обязательно является изъяном в моральной эстетике единичных событий.

Но одни лишь мораль и эстетика, вера в то, что нужно быть «рациональным» или что определенные образы мыслей «красивы», не приведут вас к центру Пути.

Это не вытащило бы человечество из ямы авторитетов.

Гарантированно спасти 400 жизней.

Спасти 500 жизней с вероятностью 90%; не спасти ни одной жизни с вероятностью 10%.

У вас может возникнуть искушение встать в позу и заявить: «Как вы смеете играть в рулетку человеческими жизнями?» Даже если вы сами — один из этих 500 (но не знаете, какой именно), у вас всё равно может возникнуть соблазн положиться на утешительное чувство уверенности, потому что наши собственные жизни часто значат для нас меньше, чем хорошая интуиция.

Но если одна из этих 500 — ваша любимая дочь, и вы не знаете, которая именно, тогда, возможно, вы почувствуете более сильный стимул заткнуться и умножить — заметить, что в первом случае ваши шансы спасти её составляют 80%, а во втором — 90%.

И да, каждый в этой толпе — чей-то сын или дочь. Что, в свою очередь, указывает на то, что мы должны выбрать второй вариант — как альтруисты, так и заботливые родители.

Я вовсе не хочу сказать, что жизнь одного человека ценнее жизни 499 человек. Я пытаюсь сказать, что на кону должно стоять больше, чем ваша собственная жизнь, прежде чем человек отчается настолько, чтобы обратиться к математике.

Что, если вы убеждены, будто «рационально» выбрать гарантированный первый вариант? Многие думают, что «рациональность» заключается в выборе только тех методов, которые гарантированно сработают, и в отвержении любой неопределенности. Но, хочется надеяться, жизнь вашей дочери волнует вас больше, чем «рациональность».

Спасет ли вас гордость за собственную добродетель рационалиста? Нет, если вы считаете добродетелью выбор уверенности. Вы сможете узнать хоть что-то о рациональности лишь в том случае, если жизнь вашей дочери будет значить для вас больше, чем ваша гордость рационалиста.

Возможно, вы даже извлечете из этого опыта какой-то урок о рациональности — если вы уже достаточно выросли в своем Искусстве, чтобы сказать: «Должно быть, у меня было неверное представление о рациональности», а не: «Смотрите, как рациональность подсунула мне неверный ответ!»

(Главная трудность на пути к тому, чтобы стать мастером рациональности, заключается в том, что вам нужно уже обладать изрядной долей рациональности, чтобы запустить процесс обучения.)

Важнее ли вашей жизни вера в то, что вы должны быть рациональным? Ведь, как я уже отмечал ранее, рискнуть жизнью — это сравнительно не так уж страшно. Оказаться единственным несогласным в толпе, на которого все косо смотрят, — куда страшнее, чем простая угроза жизни, судя по выявленным предпочтениям подростков, которые выпивают на вечеринках, а потом садятся за руль. Потребуется что-то действительно важное, чтобы вы захотели отбиться от стаи. Угрозы вашей жизни будет недостаточно.

Сильнее ли ваше стремление к рациональности, чем ваша гордость? Может ли оно быть сильнее, если само это стремление проистекает из вашей гордости за образ себя как рационалиста? Полезно — очень полезно — иметь представление о себе как о человеке, который смело смотрит в лицо суровой правде. Полезно иметь слишком много самоуважения, чтобы сознательно лгать самому себе или отказываться признавать факты. Но может прийти время, когда вам придется признать, что вы практиковали рациональность совершенно неправильно. И тогда ваша гордость, ваш образ себя как рационалиста, могут помешать вам признать это.

Если вы гордились тем, что верите словам Великого Учителя — даже когда они кажутся суровыми, даже когда вам совсем этого не хочется, — вам будет тем более горько признать, что Великий Учитель — шарлатан, а все ваши благородные самопожертвования были напрасны.

Откуда же взять волю, чтобы продолжать двигаться вперед?

Когда я оглядываюсь на свой собственный путь к рациональности — а не только на исторический путь человечества, — я вижу, что вырос с твердой верой в то, что должен быть рациональным. Это сделало меня Традиционным Рационалистом чуть выше среднего, в духе Фейнмана и Хайнлайна, и не более того. Это не побуждало меня выйти за рамки полученных учений. Я начал расти дальше как рационалист только тогда, когда у меня появилось кое-что чрезвычайно важное, что мне нужно было сделать. Что-то более важное, чем моя гордость рационалиста, не говоря уже о моей жизни.

Только когда вы становитесь преданы успеху сильнее, чем любой из своих любимых техник рациональности, вы начинаете понимать слова Миямото Мусаси:1

Победить можно длинным оружием, а можно и коротким. Одним словом, Путь школы Ити — это дух победы, каким бы ни было оружие и каков бы ни был его размер.

— Миямото Мусаси, «Книга пяти колец»

Не принимайте это за конкретное учение о рациональности. Здесь описывается то, как вы постигаете Путь, начиная с отчаянной потребности в успехе. Никто не овладеет Путем, пока на кону не окажется больше, чем жизнь. Больше, чем комфорт, и даже больше, чем гордость.

Нельзя просто так выбрать себе Дело только потому, что вам нужно хобби.