Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Но всё, что у людей есть общего, — особенно любая общая цель, — обычно стремится очертить рамки общины. Почему бы этим не воспользоваться?

Хотя в наш век интернета, увы, приверженцы слишком многих объединяющих идей слишком сильно рассеяны в пространстве, чтобы составить полноценное племя — если вы единственный член Церкви Субгения в своём городе, это вряд ли вам сильно поможет. Без физического присутствия всё действительно совсем по-другому; на нынешнем этапе развития технологий интернет, судя по всему, не способен служить полноценной заменой.

Итак, переходя сразу к сути —

Если Земля просуществует так долго, мне хотелось бы видеть в качестве основы рационалистических общин рабочие группы, сосредоточенные на всей той работе, которую необходимо проделать, чтобы привести этот мир в порядок. Общины в любой географической зоне формировались бы вокруг максимально специализированной общности, способной объединить племя приличного размера. Если в вашем городе не хватает людей, чтобы найти 50 единомышленников — программистов на Linux, возможно, вам придётся довольствоваться 15 единомышленниками в сфере открытого кода... или же, в те дни, когда всё это будет только начинаться, 15 рационалистами, пытающимися обустроить Землю каждый на свой лад.

Именно такое направление, на мой взгляд, подходило бы для энергии общин, и именно такая общая цель могла бы их сплотить. Подобные задачи в любом случае требуют общинных усилий, а на Земле полно работы, которую необходимо выполнить, так что незачем растрачивать потенциал впустую. Нам столько всего нужно сделать — пусть же энергия, которая прежде уходила в пустоту религиозных институтов, найдёт свой выход здесь. И пусть достойные цели, не требующие самообмана, заполнят любые пустоты в структуре общин, оставшиеся после устранения религии и её иллюзорных высших целей.

Крепкие общины, построенные вокруг достойных целей — именно таким мне видится облик пострелигиозной эпохи или хотя бы той части человечества, которая к тому времени зайдёт в своей жизни так далеко.

Хотя... раз уж у вас всё равно есть здание с отличным большим экраном высокого разрешения, я бы с удовольствием оспорил идею о том, что всё обучение во взрослом возрасте должно проходить в далёких дорогостоящих университетских кампусах под руководством преподавателей, которые предпочли бы заниматься чем-то другим. К тому же эмпирически очевидно, что колледжи весьма неплохо поддерживают общины. Так что, справедливости ради, есть и другие варианты того, вокруг чего можно построить посттеистическую общину.

Неужели всё это лишь мечты? Возможно. Вероятно. Но эта идея не лишена возможности постепенного воплощения — если в достаточно крупном городе найдётся достаточное количество рационалистов, прослышавших о ней. Однако, если вдруг рациональность распространится столь широко, или Земля просуществует так долго, и мой голос будет услышан, то именно в этом направлении мне хотелось бы видеть движение: когда церкви угаснут, нам понадобятся не искусственные церкви, а новые формы общинной жизни.

*

322. Рациональность: общий интерес многих начинаний.

Не столь уж скрытая цель Less Wrong заключается в том, что существует множество начинаний, которые выигрывают от распространения рациональности, — поскольку требуется чуть больше рациональности, чем обычно, чтобы разглядеть их правоту и стать их сторонником или хотя бы сочувствующим наблюдателем. Не только такие очевидные вещи, как атеизм, но и, к примеру, легализация марихуаны — где хотелось бы, чтобы люди чуть лучше осознавали собственные мотивы и природу сигнализирования, а также в большей степени руководствовались неудобными холодными фактами. Научно-исследовательский институт машинного интеллекта (MIRI) был лишь необычайно крайним примером подобного: дело дошло до того, что после многолетнего топтания на месте я просто развёл руками и в явном виде перешёл к рекурсивной задаче — подготовке рационалистов.

Но, разумеется, далеко не все рационалисты, которых я подготовлю, заинтересуются моим собственным проектом — и это нормально. Невозможно присвоить всю ценность, которую вы создаёте, а попытки сделать это могут повлечь неприятные побочные эффекты.

Если сторонники других начинаний окажутся достаточно просвещёнными, чтобы мыслить так же...

Тогда все те движения, которые выигрывают от распространения рациональности, смогут, пожалуй, получить нечто вроде стандартизированного материала, на который они смогут указывать своим сторонникам — общую задачу, централизованную ради экономии усилий, — и считать, что попутно они тоже сеют немного рациональности. Они не присвоят всю ценность, которую создают. И это нормально. Они получат часть ценности, созданной другими. Атеизм имеет мало общего напрямую с легализацией марихуаны, но если и атеисты, и противники запретительных мер готовы немного отступить назад и поговорить об общем абстрактном принципе — о необходимости смотреть в лицо неприятной истине, мешающей произнести красивую праведную тираду, — тогда и атеизм, и сторонники легализации марихуаны извлекут некоторую пользу из общих усилий.

Но для этого требуется — я знаю, что повторяюсь, но это важно, — чтобы вы были готовы не претендовать на всю создаваемую вами ценность. Требуется, чтобы в процессе разговора о рациональности вы сохраняли способность временно помалкивать о собственном деле, пусть даже оно и является самым лучшим делом на свете. Требуется, чтобы вы не рассматривали другие движения (а они — вас) как конкурентов в борьбе за ограниченный круг рационалистов с ограниченной способностью оказывать поддержку; а наоборот, создавали больше рационалистов и увеличивали их способность помогать. Вы пожнёте лишь часть плодов собственных трудов, но при этом пожнёте и часть плодов чужого труда.

Если вы и они расходитесь во мнениях — особенно касательно приоритетов, — вы должны быть готовы согласиться помалкивать об этих разногласиях. (За исключением, возможно, специализированных площадок, находящихся в стороне от основного русла дискуссии, где подобные разногласия разбираются целенаправленно.)

Один человек, вступавший в должность президента некой организации, как-то заметил, что этой организации не особо везло с лозунгом «Это лучшее, что вы можете сделать», если сравнивать, к примеру, с колоссальным успехом Фонда X-Prize, который доносил до состоятельных людей простой посыл: «Вот крутая штука, которую вы можете сделать».

Это одно из тех озарений, когда ты изумлённо моргаешь, а затем осознаёшь, насколько же в этом много смысла. Человеческий мозг не способен осознать масштаб высоких ставок, люди даже отдалённо не похожи на максимизаторов ожидаемой полезности, а сами мы в массе своей — альтруистические акратики. Слова «Это лучшее дело» не особо прибавляют мотивации по сравнению со словами «Это крутое дело». Они лишь накладывают куда более суровое бремя доказывания. И провоцируют неприятные, убивающие мотивацию сравнения со всеми