Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

теперь должны быть способны наглядно представить себе как макроскопическую декогеренцию, так и вероятностную теорию простоты и проверяемости — и почувствовать безумие единственного глобального мира нутром.

Я хотел поставить вас перед красивой и четкой дилеммой: либо отвергнуть научный метод, либо принять безумие.

Зачем? Дам подсказку: не только потому, что я злой. Если вы хотите угадать мои истинные мотивы, загляните глубже первого очевидного ответа.

P. S. Если вы попытаетесь придумать хитрые способы выкрутиться из этой дилеммы, вас просто разобьют в пух и прах в будущих эссе. Вас предупредили.

*

245. Наука не доверяет вашей рациональности.

Скотт Ааронсон предполагает, что многомирие и либертарианство похожи тем, что в обоих случаях приходится скорее «глотать пули», нежели «уворачиваться от них»:

И либертарианство, и многомировая интерпретация — это грандиозные философские теории, которые исходят из предпосылок, разделяемых почти всеми образованными людьми (квантовая механика в одном случае, базовый курс экономики в другом), и приходят к выводам, которые большинство образованных людей отвергает или, по крайней мере, находит странными (существование параллельных вселенных / желательность ликвидации пожарных служб).

Вот аналогия, которая никогда бы не пришла мне в голову.

Ранее я утверждал, что Наука отвергает многомирие, а Байес — принимает. (Здесь «Наука» написана с заглавной буквы, потому что речь идет об идеализированном образе Науки, а не просто о реальном социальном процессе научной деятельности.)

Более того, мне кажется, что существует глубокая аналогия между либертарианством (со строчной буквы) и Наукой:

Оба основаны на прагматичном недоверии к разумно звучащим аргументам.

Оба пытаются построить системы, заслуживающие большего доверия, чем составляющие их люди.

Оба признают, что люди несовершенны, и пытаются использовать их недостатки как движущую силу системы.

Главный аргумент в пользу либертарианства — это исторически обусловленное недоверие к красивым теориям о том, «насколько лучше стало бы общество, если бы мы просто приняли правило XYZ». Если бы подобные трюки действительно работали, то ужесточение регулирования коррелировало бы с экономическим ростом по мере перехода общества от локальных оптимумов к глобальным. Но когда какой-то человек или группа интересов получает достаточно власти, чтобы начать воплощать в жизнь всё, что кажется им отличной идеей, история свидетельствует, что на деле всё оборачивается революционной Францией или Советской Россией.

Планы, которые в красивой теории должны были осчастливить всех раз и навсегда, не приносят результатов, предсказанных разумно звучащими доводами. К тому же власть развращает — и привлекает развращенных.

Поэтому вы регулируете как можно меньше, ведь вы не можете доверять ни красивым теориям, ни людям, которые воплощают их в жизнь.

Вы не грозите людям пальцем за эгоизм. Вы пытаетесь построить эффективную производственную систему из эгоистичных участников, требуя, чтобы сделки были добровольными. В итоге люди вынуждены играть в игры с положительной суммой, ведь только так они могут заставить другую сторону подписать контракт. В условиях, когда насилие обуздано, а исполнение контрактов обеспечивается, индивидуальный эгоизм может служить движущей силой для глобально продуктивной системы.

Разумеется, на практике всё это работает далеко не так гладко, как в теории, и я не собираюсь углубляться в провалы рынка, проблемы общего достояния и тому подобное. Главный аргумент в пользу либертарианства заключается не в том, что оно работало бы в идеальном мире, а в том, что оно плавно деградирует в условиях реальной жизни. Или, вернее сказать, деградирует менее неуклюже, чем любой другой известный экономический принцип. (Люди, которые видят в либертарианстве идеальное решение для идеальных людей, на мой взгляд, упускают саму суть идеи «прагматичного недоверия».)

Наука впервые осознала себя как бунт против веры на слово Аристотелю. Если бы деятели той революции просто сказали: «Давайте верить себе, а не Аристотелю!», они бы вспыхнули и угасли, подобно Французской революции.

Но Научная революция устояла, потому что — как и в случае с Американской революцией — ее архитекторы провозгласили куда более странную философию: «Не будем верить никому! Даже самим себе!»

В самом начале возникла идея о том, что мы не можем просто выбросить кабинетные рассуждения Аристотеля и заменить их другими кабинетными рассуждениями. Нам нужно говорить с Природой и действительно слушать, что Она отвечает. Это само по себе было гениальным озарением.

Но затем возникла проблема практической реализации. Люди упрямы и могут не захотеть признавать вердикт эксперимента. Станем ли мы неодобрительно грозить им пальцем и говорить: «Ай-яй-яй!»?

Нет; мы исходим из того и принимаем как факт, что каждый отдельный ученый может быть до безумия привязан к своим собственным теориям. Мы также не предполагаем, что кого-то можно отучить от этой склонности — мы не пытаемся выбирать Выдающихся судей, которые должны быть беспристрастными.

Вместо этого мы пытаемся поставить на службу упрямое желание отдельного ученого доказать свою теорию, говоря: «Сделайте новое экспериментальное предсказание и проведите эксперимент. Если вы правы и эксперимент воспроизведут, вы победили». Пока ученые верят, что это так, у них есть мотив проводить эксперименты, которые могут опровергнуть их собственные теории. Только признав возможность поражения, можно победить. К тому же любое громкое заявление потребует воспроизведения, а это заставляет ученых быть честными под страхом публичного позора.

И таким образом упрямство отдельных ученых удается направить на получение непрерывного потока знаний на уровне группы. Система несколько более надежна, чем составляющие ее части.

Либертарианство втайне полагается на то, что большинство людей достаточно просоциальны, чтобы оставлять чаевые в ресторане, куда они больше никогда не вернутся. Экономика, состоящая из абсолютно эгоистичных агентов человеческого уровня, схлопнулась бы. Подобным же образом Наука полагается на то, что большинство ученых не станут совершать столь вопиющих грехов, которые они не смогут для себя рационализировать.

В той мере, в какой ученые верят, что могут продвигать свои теории с помощью академических интриг — или манипулировать статистическими методами, чтобы выиграть без риска проиграть, — или в какой никто не утруждает себя проверкой результатов, наука теряет свою эффективность. Но эта деградация происходит плавно, насколько это вообще возможно для подобных систем.

Тот факт, что успешные предсказания закрепляются за теорией и теоретиками, которые изначально их сформулировали, и не могут быть просто украдены появившейся позже теорией — без нового экспериментального предсказания — является важной чертой этого социального процесса.

Главный итог заключается в том, что Науку не так-то просто примирить с теорией вероятностей. Если вы проведете теоретико-вероятностный расчет правильно, то получите рациональный ответ. Наука не доверяет вашей рациональности и не полагается на вашу способность использовать теорию вероятностей в качестве